[논문 리뷰] Learning Deconvolution Network for Semantic Segmentation

Hyeonwoo Noh, Seunghoon Hong외 1명|arXiv (Cornell University)|2015. 05. 17.

Advanced Neural Network Applications참고 문헌 25인용 수 612

한 줄 요약

이 논문은 사전 훈련된 VGG-16 네트워크의 특징 계층을 뒤집어 고밀도이고 고해상도의 세그멘테이션 마스크를 재구성하는 데 학습하는 디컨볼루션 네트워크를 제안한다. 훈련된 네트워크를 객체 제안에 적용하고 결과를 통합함으로써, 완전 컨볼루션 네트워크의 척도 제한을 극복하며, 외부 데이터 없이 PASCAL VOC 2012에서 최신 기술 수준의 성능(72.5% mIoU)을 달성한다. FCN-8s와의 앙상블을 통해 추가로 성능 향상을 이룬다.

ABSTRACT

We propose a novel semantic segmentation algorithm by learning a deconvolution network. We learn the network on top of the convolutional layers adopted from VGG 16-layer net. The deconvolution network is composed of deconvolution and unpooling layers, which identify pixel-wise class labels and predict segmentation masks. We apply the trained network to each proposal in an input image, and construct the final semantic segmentation map by combining the results from all proposals in a simple manner. The proposed algorithm mitigates the limitations of the existing methods based on fully convolutional networks by integrating deep deconvolution network and proposal-wise prediction; our segmentation method typically identifies detailed structures and handles objects in multiple scales naturally. Our network demonstrates outstanding performance in PASCAL VOC 2012 dataset, and we achieve the best accuracy (72.5%) among the methods trained with no external data through ensemble with the fully convolutional network.

연구 동기 및 목표

• 완전 컨볼루션 네트워크(FCN) 기반 세그멘테이션에서 척도 불변성과 해상도가 낮은 특징 표현 문제를 해결하기 위해.
• 디컨볼루션 및 언풀링 레이어를 포함한 다층 디컨볼루션 네트워크를 학습하여 세분화된 객체 세부 정보 복원을 향상시키기 위해.
• 객체 제안에 대한 인스턴스 수준 예측을 통해 완전 컨볼루션 네트워크의 고정된 수신장 제한을 극복하기 위해.
• VOC 2012 데이터셋과 모델 앙상블만을 사용하여 PASCAL VOC 2012에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• VGG-16 특징 위에 깊이 있는 디컨볼루션 네트워크를 훈련하며, 디컨볼루션, 언풀링 및 ReLU 레이어를 사용해 특징 맵을 점진적으로 업샘플링한다.
• 지표 세그멘테이션 마스크를 타겟으로 삼아 지도 학습을 통해 네트워크를 종합적으로 훈련한다.
• 입력 이미지에서 객체 제안을 추출하고, 각 제안을 디컨볼루션 네트워크에 입력하여 인스턴스 수준의 세그멘테이션 마스크를 생성한다.
• 간단한 비미분 가능 융합 전략을 사용해 모든 제안의 예측을 통합하여 최종 세그멘테이션 맵을 구성한다.
• FCN-8s와의 모델 앙상블을 통해 두 아키텍처 간 보완적인 특성을 활용한다.
• ACRF는 출력을 정밀하게 다듬기 위해 선택적으로 적용되며, 양적 성능 향상은 미미하다.

실험 결과

연구 질문

• RQ1 FCN에서 이중선형 보간보다 학습된 디컨볼루션 네트워크가 더 효과적으로 세분화되고 고해상도의 세그멘테이션 마스크를 재구성할 수 있는가?
• RQ2 객체 제안에 대한 인스턴스 수준 예측이 세그멘테이션에서 척도 관련 오분류 및 분할 문제를 완화하는가?
• RQ3 PASCAL VOC 2012에만 훈련된 디컨볼루션 네트워크가 외부 데이터 없이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 디컨볼루션 네트워크와 FCN-8s의 보완적인 특성이 앙상블 시 성능 향상에 기여하는 방식은 무엇인가?

주요 결과

• 제안된 디컨볼루션 네트워크는 PASCAL VOC 2012 검증 세트에서 72.5%의 평균 교차율(mIoU)을 달성하여, 외부 데이터 없이 훈련된 방법 중 최고 성능을 기록한다.
• 디컨볼루션 네트워크를 FCN-8s와 앙상블하면 성능이 더욱 향상되며, 양 모델의 잘못된 예측을 보완하여 열등한 결과를 낼 수 있다.
• 이 방법은 FCN 기반 접근법보다 세분화된 객체 구조를 효과적으로 복원하고, 특히 작은 또는 분할된 객체에 대해 다중 척도 객체를 더 잘 처리한다.
• CRF 정밀 조정은 노이즈를 줄이지만, 양적 지표 향상은 미미하여, 디컨볼루션 네트워크가 이미 고품질 출력을 생성하고 있음을 시사한다.
• 오차가 있는 또는 배경 제안에 대해서도 네트워크는 강건성을 보이며, 일부 경우에 노이즈 있는 예측을 유도할 수 있다.
• 아키텍처의 점진적인 디컨볼루션 및 언풀링 연산은 개체 형태의 굵은에서 미세한 재구성으로 이어져 정위치 정확도를 향상시킨다.