[논문 리뷰] Fully Convolutional Networks for Semantic Segmentation

Evan Shelhamer, Jonathan Long외 1명|arXiv (Cornell University)|2016. 05. 20.

Advanced Neural Network Applications참고 문헌 51인용 수 838

한 줄 요약

논문은 분류 네트를 완전 합성곱 네트워크로 변환하여 끝-to-end 픽셀 단위 의미 분할을 수행하고, 스킵 연결을 도입해 다중 스케일 특징을 융합하며 빠른 추론으로 최첨단 결과를 달성한다.

ABSTRACT

Convolutional networks are powerful visual models that yield hierarchies of features. We show that convolutional networks by themselves, trained end-to-end, pixels-to-pixels, improve on the previous best result in semantic segmentation. Our key insight is to build "fully convolutional" networks that take input of arbitrary size and produce correspondingly-sized output with efficient inference and learning. We define and detail the space of fully convolutional networks, explain their application to spatially dense prediction tasks, and draw connections to prior models. We adapt contemporary classification networks (AlexNet, the VGG net, and GoogLeNet) into fully convolutional networks and transfer their learned representations by fine-tuning to the segmentation task. We then define a skip architecture that combines semantic information from a deep, coarse layer with appearance information from a shallow, fine layer to produce accurate and detailed segmentations. Our fully convolutional network achieves improved segmentation of PASCAL VOC (30% relative improvement to 67.2% mean IU on 2012), NYUDv2, SIFT Flow, and PASCAL-Context, while inference takes one tenth of a second for a typical image.

연구 동기 및 목표

• 완전 합성곱 네트워크를 끝까지(end-to-end) 학습시키면 추가 후처리 없이 의미 분할이 개선되는지 입증한다.
• 분류 네트워크(AlexNet, VGG, GoogLeNet)를 FCN으로 적응시키고 밀집 예측에 맞춰 미세조정한다.
• 깊은 의미 정보와 얕은 외관 정보를 융합하기 위해 스킵 연결을 도입하여 정밀한 분할을 구현한다.
• 훈련 전략(전 이미지 대 패치 단위)과 업샘플링 레이어의 end-to-end 학습 가능성을 조사한다.

제안 방법

• 사전 학습된 분류 네트를 완전 합성곱 네트로 바꿔 완전 연결층을 합성곱으로 대체한다.
• 네트워크 내 업샘플링(deconvolution) 레이어를 추가하여 밀집 픽셀 단위 출력을 생성한다.
• pool3/pool4 등 여러 계층의 특징을 융합하는 스킵 연결을 도입해 공간 디테일을 정교하게 다듬는다.
• 분할 정답에 대해 네트워크 전체를 end-to-end로 미세조정한다.
• 단일 스트림(32s), 이중 스트림(16s), 삼중 스트림(8s) 아키텍처를 실험해 해상도와 정확도 간의 트레이드오프를 조정한다.

실험 결과

연구 질문

• RQ1 FCN의 엔드투엔드 학습으로 외부 후처리 없이 고품질의 밀집 픽셀 단위 분할을 얻을 수 있는가?
• RQ2 스킵 연결 유무를 포함해 분류 네트를 FCN으로 적응시키면 분할 정확도와 추론 속도에 어떤 영향을 주는가?
• RQ3 다중 스케일 특징 융합(skip 연결)이 공간 디테일과 전역 의미에 미치는 영향은 무엇인가?
• RQ4 전 이미지 학습이 밀집 예측에 대해 패치 단위 학습보다 더 효율적이고 효과적인가?

주요 결과

픽셀 정확도	평균 정확도	평균 IU	가중된 IU
90.5	76.5	63.6	83.5
91.0	78.1	65.0	84.3
91.1	78.5	65.4	84.4
91.2	77.6	65.5	84.5
82.9	64.6	46.6	72.3
87.4	60.5	50.0	78.5
78.7	31.7	22.4	67.0
70.9	13.7	9.2	57.6

• FCN-VGG16 기반 모델은 PASCAL VOC 2011 분할 및 다른 데이터셋에서 이전의 최첨단 성능을 능가한다.
• pool4 및 pool3의 융합을 가능케 하는 스킵 연결은 평균 IU 및 디테일을 향상시키며(예: FCN-16s와 FCN-8s가 FCN-32s보다 더 우수) 실현된다.
• 네트워크 내 업샘플링으로 엔드투엔드 미세조정은 패치 기반 방법에 비해 추론 속도가 빠르면서도 경쟁력 있는 정확도를 제공한다.
• 전 이미지를 사용한 학습은 더 빠른 수렴을 제공하고 밀집 예측에서도 패치 샘플링만큼 효과적이다.