[논문 리뷰] Fully Convolutional Networks for Semantic Segmentation

J. D. Long, Evan Shelhamer외 1명|arXiv (Cornell University)|2014. 11. 14.

Advanced Neural Network Applications인용 수 2,812

한 줄 요약

본 논문은 분류 네트를 완전히 합성곱 신경망(FCN)으로 변환하여 엔드투엔드, 픽셀 단위의 의미 분할을 수행하고, 여러 데이터셋에서 효율적이고 엔드투엔드 학습이 가능하며 다중 스케일 정보를 융합하는 스킵 기반 아키텍처를 통해 최첨단 성능을 달성한다.

ABSTRACT

Convolutional networks are powerful visual models that yield hierarchies of features. We show that convolutional networks by themselves, trained end-to-end, pixels-to-pixels, exceed the state-of-the-art in semantic segmentation. Our key insight is to build "fully convolutional" networks that take input of arbitrary size and produce correspondingly-sized output with efficient inference and learning. We define and detail the space of fully convolutional networks, explain their application to spatially dense prediction tasks, and draw connections to prior models. We adapt contemporary classification networks (AlexNet, the VGG net, and GoogLeNet) into fully convolutional networks and transfer their learned representations by fine-tuning to the segmentation task. We then define a novel architecture that combines semantic information from a deep, coarse layer with appearance information from a shallow, fine layer to produce accurate and detailed segmentations. Our fully convolutional network achieves state-of-the-art segmentation of PASCAL VOC (20% relative improvement to 62.2% mean IU on 2012), NYUDv2, and SIFT Flow, while inference takes one third of a second for a typical image.

연구 동기 및 목표

• 엔드투엔드로 학습된 완전 연결망이 추가 포스트처리나 제안 없이 픽셀 단위의 의미 분할을 수행할 수 있음을 동기 부여하고 입증합니다.
• 기존 분류 네트워크(AlexNet, VGG, GoogLeNet)를 엔드투엔드 미세조정을 통해 밀도 예측에 적합한 FCN으로 적응시키고 재목적화합니다.
• 저급 의미 정보를 고해상도 외관 세부 정보와 결합하는 스킵 아키텍처(FCN-32s, FCN-16s, FCN-8s)를 개발하여 공간 정밀도를 향상시킵니다.
• 표준 데이터세트(PASCAL VOC 2011/2012, NYUDv2, SIFT Flow)에서 접근법을 평가하고 이전의 최첨단 방법과 비교합니다.
• 전 이미지 FCN 학습과 패치 기반 방법의 학습 및 추론 효율성을 분석하고 업샘플링 필터의 엔드투엔드 학습을 시연합니다.

제안 방법

• 전통적인 분류 네트를 합성곱 신경망으로 변환하기 위해 완전 연결 계층을 합성곱으로 바꾸고 위치별로 클래스 점수를 생성하기 위한 1x1 합성곱을 추가합니다.
• 네트워크 내 업샘플링(디컨볼루션) 계층을 추가하여 거친 출력으로부터 밀집한 픽셀 단위 예측을 회복하고 역전파를 통해 이 업샘플링 필터를 함께 학습합니다.
• 다중 계층(pool4/pool3 및 conv7)의 예측을 융합하는 스킵 아키텍처를 도입하여 고수준 의미를 보존하면서 공간 정보를 향상시킵니다( FCN-32s, FCN-16s, FCN-8s).
• 밀도 분할 데이터에 대해 적응된 네트워크를 미세조정하고, 픽셀 단위 다항 로지스틱 손실과 평균 교집합/합집합(IU)을 평가 지표로 사용합니다.
• 단일 스트림 FCN과 스킵 연결 FCN을 비교하고 여러 데이터셋에서 추론 시간의 향상과 정확도 향상을 보고합니다.

실험 결과

연구 질문

• RQ1 엔드투엔드로 학습된 FCN이 외부 포스트프로세싱이나 제안 없이 최첨단 의미 분할 방법을 능가할 수 있는가?
• RQ2 네트워크 내 업샘플링으로 분류 네트를 FCN으로 적응시키는 것이 분할 작업에 대해 정확한 밀도 예측을 가능하게 하는가?
• RQ3 스킵 아키텍처를 통해 거친 심층 특징과 미세 얕은 특징을 결합하는 것이 분할의 세부 정보와 정확도를 향상시키는가?
• RQ4 표준 분할 벤치마크(PASCAL VOC, NYUDv2, SIFT Flow)에 대한 엔드투엔드 미세조정과 다중 스케일 융합의 영향은 무엇인가?

주요 결과

평균 IU	추론 시간(ms)	픽셀 정확도	평균 정확도	가중 평균 IU	기하학적 정확도
R-CNN	-	47.9	-	-	-
SDS [16]	~50 s	52.6	-	-	-
FCN-8s	~175	62.7	62.7	83.2	-
FCN-32s	-	59.4	-	81.4	-
FCN-16s	-	62.4	75.7	83.0	-
FCN-8s (full table)	-	62.7	75.9	62.7	-
NYUDv2 - RGB-HHA	-	32.8	34.0	49.5	-
NYUDv2 - RGB-HHA (16s)	-	33.5	35.2	-	-
SIFT Flow - FCN-16s	-	39.5	51.7	76.1	94.3
SIFT Flow - FCN-8s	-	-	-	-	-

• FCN-8s는 PASCAL VOC 2011 테스트에서 평균 IU 62.7, VOC 2012 테스트에서 62.2를 달성하여 이전 최첨단 SDS 대비 약 20% 상대적으로 더 우수합니다.
• FCN-16s와 FCN-8s는 FCN-32s를 능가하며, PASCAL VOC 검증에서 평균 IU가 59.4에서 각각 62.4와 62.7로 상승하여 스킵 연결의 이점을 보여줍니다.
• NYUDv2에서 RGB-HHA 및 RGB-HHA 융합 모델은 각각 32.8과 34.0의 평균 IU에 도달하여 이전 방법을 능가하며, FCN-16s를 사용한 RGB-HHA는 34.0 평균 IU를 달성합니다.
• SIFT Flow에서 FCN-16s(평균 IU 39.5)와 FCN-8s(표 참조)의 평균 IU는 경쟁력 있는 성능을 보이며 강한 의미적 및 기하학적 라벨링 결과를 보여줍니다.
• 네트워크 내 업샘플링을 통한 엔드투엔드 학습은 빠른 추론(~500x500 입력에 대해 ~175ms까지 가능)을 가능하게 하고 초분할초나 CRF와 같은 포스트프로세싱의 필요성을 제거합니다.
• 스킵 연결을 통해 거친 의미 정보와 미세한 외관 정보를 결합하면 경계 세부와 공간 정밀도가 향상된 세분화를 얻습니다.