[논문 리뷰] Label Refinement Network for Coarse-to-Fine Semantic Segmentation

Amirul Islam, Shujon Naha외 3명|arXiv (Cornell University)|2017. 03. 01.

Advanced Neural Network Applications참고 문헌 19인용 수 51

한 줄 요약

LRN은 거친-정교한 CNN 아키텍처를 도입하여 다중 해상도 레이블 맵을 생성하고, 다수의 디코더 단계에서 깊은 감독을 통해 픽셀 단위 시맨틱 분할을 개선합니다.

ABSTRACT

We consider the problem of semantic image segmentation using deep convolutional neural networks. We propose a novel network architecture called the label refinement network that predicts segmentation labels in a coarse-to-fine fashion at several resolutions. The segmentation labels at a coarse resolution are used together with convolutional features to obtain finer resolution segmentation labels. We define loss functions at several stages in the network to provide supervisions at different stages. Our experimental results on several standard datasets demonstrate that the proposed model provides an effective way of producing pixel-wise dense image labeling.

연구 동기 및 목표

• Semantic segmentation에서 공간적 정밀도를 유지하면서 고수준 인코더 특징을 활용하기 위한 거친-정교한 전략을 도입한다.
• 여러 해상도에서의 분할 맵을 예측하고 각 단계에서 손실이 작동하는 엔드투엔드 CNN을 개발한다.
• (skip 연결을 통한) 인코더 특징과 거친 레이블 예측을 융합하는 정제 모듈을 도입하여 디테일을 향상한다.
• 각 표준 데이터셋에서 효과를 시연하고 단일 샷 분할 기준선보다 이점이 있음을 보인다.

제안 방법

• VGG16 유사 인코더를 기반으로 한 인코더-디코더 아키텍처.
• 디코더는 업샘플링된 분할 맵을 해당 인코더 피처와 스킵 연결을 통해 결합하는 정제 모듈을 포함한다.
• 여섯 개의 디코더 단계에서 다양한 손실 함수를 적용하여 서로 다른 해상도에서 학습을 감독한다.
• 정제 모듈은 3x3 합성곱, 배치 정규화, ReLU, 스킵 피처의 연결, 및 양선형 업샘플링을 사용한다.
• 최종 학습은 모든 단계별 손실의 합인 sum_k=1^6 l_k를 최적화한다.

실험 결과

연구 질문

• RQ1 거친-정교한 레이블링 전략이 단일 샷의 고해상도 예측에 비해 픽셀 단위 분할 정확도를 향상시킬 수 있는가?
• RQ2 다양한 디코더 단계에서의 깊은 감독과 스킵 연결 정제는 경계 선명도와 작은 개체의 디테일을 향상시키는가?
• RQ3 LRN은 표준 시맨틱 분할 벤치마크에서 강력한 baselines(예: SegNet, FCN-8s) 대비 어떤 성능을 보이는가?

주요 결과

• LRN은 PASCAL VOC 2012, CamVid, SUN RGB-D 벤치마크에서 SegNet 및 SegNet+Deep Supervision을 능가한다.
• 스킵 연결을 통한 점진적 정제는 미세한 디테일을 보존하고 기둥, 표지판 등 작은/가늘은 객체에서 성능을 향상시킨다.
• 단계별 감독과 거친-정교한 예측은 각 데이터셋에서 일관된 이점을 제공하며, 각 단계별로 따로 학습할 필요가 없다.
• 뉘앙스 분석은 나중 단계의 레이블 맵(s_6)이 최종 성능을 가장 잘 제공하며, 초기 단계에서 점진적으로 평균 IoU가 향상된다.
• 정성적 결과는 단일 샷 방법 대비 경계 정확도와 더 세밀한 객체 구분이 개선되었음을 보여준다.