[논문 리뷰] Stacked Deconvolutional Network for Semantic Segmentation

Jun Fu, Jing Liu외 2명|arXiv (Cornell University)|2017. 08. 16.

Advanced Neural Network Applications참고 문헌 34인용 수 83

한 줄 요약

이 논문은 Stacked Deconvolutional Network (SDN)를 제시합니다. 얕은 디컨볼루션 유닛을 축적하고, 단위 내/단위 간 dense 연결 및 계층적 감독을 통해 CRF 후처리 없이도 최첨단 의미론적 분할를 달성합니다.

ABSTRACT

Recent progress in semantic segmentation has been driven by improving the spatial resolution under Fully Convolutional Networks (FCNs). To address this problem, we propose a Stacked Deconvolutional Network (SDN) for semantic segmentation. In SDN, multiple shallow deconvolutional networks, which are called as SDN units, are stacked one by one to integrate contextual information and guarantee the fine recovery of localization information. Meanwhile, inter-unit and intra-unit connections are designed to assist network training and enhance feature fusion since the connections improve the flow of information and gradient propagation throughout the network. Besides, hierarchical supervision is applied during the upsampling process of each SDN unit, which guarantees the discrimination of feature representations and benefits the network optimization. We carry out comprehensive experiments and achieve the new state-of-the-art results on three datasets, including PASCAL VOC 2012, CamVid, GATECH. In particular, our best model without CRF post-processing achieves an intersection-over-union score of 86.6% in the test set.

연구 동기 및 목표

• FCN 프레임워크에서 공간 해상도 및 경계 구분 개선 동기 부여.
• 다중 스케일 컨텍스트를 포착하기 위해 얕은 디컨볼루션 유닛을 축적하여 확장 가능한 학습 가능 아키텍처 제안.
• 단위 내 및 단위 간 Dense 연결과 계층적 감독으로 최적화를 촉진.
• PASCAL VOC 2012, CamVid, GATECH 데이터세트에서 최첨단 성능 시연.
• 최고의 모델이 CRF 후처리 없이 높은 Mean IoU를 달성함을 보임

제안 방법

• SDN 유닛 도입: 다운샘플링 및 업샘플링 경로를 갖춘 인코더-디코더 블록.
• 다운샘플링 블록 내 DenseNet에서 영감된 Dense 연결로 피처 재사용을 촉진.
• 단위 내 Dense 연결과 단위 간 스킵 연결을 도입하여 그래디언트 흐름 및 다중 스케일 피처 융합을 개선.
• 다중 업샘플링 단계에서 계층적 감독을 적용하여 판별력 및 최적화를 강화.
• 업샘플링 중 단위 및 스케일 간 점수 맵을 융합하여 경계 위치 추정을 향상.
• 사전 학습된 DenseNet-161를 최초 인코더로 활용하고, 이후 유닛은 다운샘플링/업샘플링 블록과 압축으로 구성.
• 데이터 증강, 폴리 학습률 정책, 엔드투엔드 최적으로 학습; 테스트는 가장 해상도가 높은 마지막 유닛 출력 사용

실험 결과

연구 질문

• RQ1 얕은 디컨볼루션 유닛을 얕은 내/단위 간 연결로 축적하는 것이 단일 심층 디컨볼루션 네트워크보다 경계 위치 지정 및 세분화 정확도를 향상시키는가?
• RQ2 다중 업샘플링 단계의 계층적 감독 및 점수 맵 융합이 픽셀 단위 예측의 최적화 및 구별력을 향상시키는가?
• RQ3 대형 분류기 네트워크(DenseNet-161)에서의 사전 학습 및 단계적 업샘플링이 표준 벤치마크에서 세그먼테이션 성능에 미치는 영향은 무엇인가?
• RQ4 SDN이 PASCAL VOC 2012, CamVid, GATECH에서 최첨단 방법과 비교하여 어떤 성능을 보이는가?
• RQ5 축적 유닛 수와 감독 구성의 변화가 Mean IoU에 어떤 영향을 주는가?

주요 결과

모델	깊이	매개변수 (M)	평균 IoU (%)
SDN_M1	169	84.9	78.2
SDN_M2	185	161.7	79.2
SDN_M3	201	238.5	79.9
SDN_M1+	185	161.7	78.6

• 세 단위로 축적된 SDN은 PASCAL VOC 2012 검증에서 더 적은 유닛보다 평균 IoU가 높다.
• 계층적 감독과 단위 내/단위 간 Dense 연결은 학습 안정성 및 경계 세부 정보를 개선하여 성능 향상에 기여.
• 점수 맵 융합 및 추가 업샘플링 블록이 Mean IoU에 측정 가능한 개선을 가져옴.
• SDN-M2*를 MS-COCO에서 사전 학습시키면 성능이 더욱 향상되어 Mean IoU에서 주목할 만한 베이스라인(예: Deeplabv3)을 능가함.
• SDN 패밀리는 CRF 후처리 없이도 PASCAL VOC 2012, CamVid, GATECH 벤치마크에서 최첨단 결과를 달성하며 눈에 띄는 이점을 보임