[논문 리뷰] Error Correction for Dense Semantic Image Labeling

Yu-Hui Huang, Jia Xu외 3명|arXiv (Cornell University)|2017. 12. 11.

Advanced Neural Network Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 밀도 높은 의미적 이미지 레이블링을 위한 새로운 종단 간 병렬 후처리 프레임워크를 제안한다. 이 프레임워크는 세 가지 구성 요소를 통해 初기 분할 맵의 오류를 수정한다: LabelPropagation(맥락을 통해 경계를 정밀하게 다듬음), LabelReplacement(잘못된 영역에 대해 새로운 레이블을 생성함), 그리고 Fusion(학습된 가중치를 통해 결과를 통합함). 이 방법은 PASCAL VOC 2012 및 HELEN 얼굴 파싱 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 얼굴 파싱 작업에서 평균 F-측정치를 2% 향상시키고, 객체 경계 근처에서 CRF 기반 보정 기법을 능가한다.

ABSTRACT

Pixelwise semantic image labeling is an important, yet challenging, task with many applications. Typical approaches to tackle this problem involve either the training of deep networks on vast amounts of images to directly infer the labels or the use of probabilistic graphical models to jointly model the dependencies of the input (i.e. images) and output (i.e. labels). Yet, the former approaches do not capture the structure of the output labels, which is crucial for the performance of dense labeling, and the latter rely on carefully hand-designed priors that require costly parameter tuning via optimization techniques, which in turn leads to long inference times. To alleviate these restrictions, we explore how to arrive at dense semantic pixel labels given both the input image and an initial estimate of the output labels. We propose a parallel architecture that: 1) exploits the context information through a LabelPropagation network to propagate correct labels from nearby pixels to improve the object boundaries, 2) uses a LabelReplacement network to directly replace possibly erroneous, initial labels with new ones, and 3) combines the different intermediate results via a Fusion network to obtain the final per-pixel label. We experimentally validate our approach on two different datasets for the semantic segmentation and face parsing tasks respectively, where we show improvements over the state-of-the-art. We also provide both a quantitative and qualitative analysis of the generated results.

연구 동기 및 목표

• 딥 러닝 모델이 밀도 높은 의미적 레이블링을 수행할 때 과도하게 부드러운 경계를 생성하고 레이블 간 의존성을 모델링하지 못하는 한계를 해결하기 위함.
• 수작업으로 설계된 포텐셜과 느린 최적화에 의존하는 CRF 기반 후처리 방법의 비효율성과 하이퍼파라미터 민감성 문제를 해결하기 위함.
• 어떤 초기 분할 예측 모델에도 적용 가능한 일반적이고 효율적이며 종단 간 오류 보정 프레임워크를 개발하기 위함.
• 병렬 보정 전략을 통해 객체 분할 작업에서 경계 정확도 향상과 클래스 레이블 정확도 향상을 동시에 달성하기 위함.

제안 방법

• 모든 구성 요소가 동일한 인코더-디코더 백본을 공유하는 세 부분으로 구성된 병렬 아키텍처를 사용한다: LabelPropagation, LabelReplacement, 그리고 Fusion.
• LabelPropagation 네트워크는 2차원 이동 필드를 예측하여 이웃 픽셀의 정확한 레이블을 전파함으로써 경계의 명확성을 향상시킨다.
• LabelReplacement 네트워크는 입력 이미지와 初기 레이블 맵에서 직접 새로운 분할 확률 맵을 회귀하여 잘못 분류된 영역을 수정한다.
• Fusion 네트워크는 예측된 주의 맵을 사용하여 두 브랜치의 출력을 학습된 가중치로 통합함으로써 전파 및 교체 결과의 적응적 가중치 조정을 가능하게 한다.
• 전체 파이프라인은 다중 작업 학습 방식으로 종단 간에 동시에 훈련되며, 모든 구성 요소의 공동 최적화가 이루어진다.
• 이 방법은 DeepLab-v2나 얼굴 파싱 모델과 같은 사전 훈련된 밀도 높은 레이블링 모델 위에서 후처리 단계로 적용된다.

실험 결과

연구 질문

• RQ1 레이블 전파와 레이블 교체를 병합한 후처리 프레임워크가 기존의 CRF 기반 보정 기법을 뛰어넘어 밀도 높은 의미적 분할 성능을 향상시킬 수 있는가?
• RQ2 순차적 또는 단일 전략 대비 병렬 아키텍처가 오류 보정에 얼마나 효과적인가?
• RQ3 이 방법이 객체 분할 및 얼굴 파싱 작업 모두에서 경계 정확도 향상과 잘못된 영역 수정에 얼마나 기여하는가?
• RQ4 융합 메커니즘이 레이블 전파와 교체의 기여도를 효과적으로 균형 잡아 최적의 분할 결과를 도출할 수 있는가?

주요 결과

• PASCAL VOC 2012 검증 세트에서 제안된 방법은 기준 모델인 DeepLab-v2 대비 mIoU를 1.8% 향상시키고, Dense CRF 후처리를 적용한 DeepLab-v2 대비 1.2% 향상시켰다.
• HELEN 얼굴 파싱 데이터셋에서 전체 F-측정치는 기준값 83.96%에서 85.90%로 향상되어 상대적 개선률이 1.94%에 달한다.
• 객체 경계 근처에서 뛰어난 성능을 보였으며, 트림랩 영역(1–40픽셀 폭)의 평균 IoU가 기준 모델 및 CRF 기반 방법보다 높았다.
• 정성적 결과를 통해 이 방법이 객체의 형태를 더 잘 유지하고 특히 눈과 입과 같은 미세한 구조의 경계 선명도를 향상시킴을 확인했다.
• 실패 케이스 분석 결과, 객체의 대부분이 초기에 잘못 분류된 경우, 이 방법은 대규모 클래스 오류를 완전히 수정하지 못하는 것으로 나타났다.