[논문 리뷰] Fully Connected Deep Structured Networks

Alexander G. Schwing, Raquel Urtasun|arXiv (Cornell University)|2015. 03. 09.

Advanced Graph Neural Networks참고 문헌 27인용 수 260

한 줄 요약

이 논문은 풀커넥티드 딥 스토리처드 네트워크를 위한 공동 학습 프레임워크를 제안하며, 종단간 최적화를 통해 컨볼루션 신경망(CNN) 특징과 조건부 랜덤 필드(CRF) 파라미터를 동시에 최적화하여 세분화된 이미지 분할을 수행한다. 딥 특징과 풀커넥티드 CRF를 결합하고, 양쪽 구성 요소를 통해 종단간 역전파를 가능하게 함으로써, 이 방법은 PASCAL VOC 2012 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 검증 세트에서 64.06%의 평균 IoU를 기록하였다. 이는 이전의 두 단계 접근 방식을 능가하는 성능이다.

ABSTRACT

Convolutional neural networks with many layers have recently been shown to achieve excellent results on many high-level tasks such as image classification, object detection and more recently also semantic segmentation. Particularly for semantic segmentation, a two-stage procedure is often employed. Hereby, convolutional networks are trained to provide good local pixel-wise features for the second step being traditionally a more global graphical model. In this work we unify this two-stage process into a single joint training algorithm. We demonstrate our method on the semantic image segmentation task and show encouraging results on the challenging PASCAL VOC 2012 dataset.

연구 동기 및 목표

• 지역적 특징을 위한 CNN 학습과 전역적 맥락을 위한 CRF 학습이라는 두 단계 과정을 하나의 공동 최적화 프레임워크로 통합하기 위해.
• 일부러 분리된 학습 방식의 한계를 극복하기 위해, 일元 및 이원 CRF 파라미터가 별도로 최적화되어 최적의 특징과 맥락 통합이 이루어지지 않는 문제를 해결하기 위해.
• 변분 평균장 근사법을 사용하여 CRF 추론 과정을 미분 가능하게 하여, 딥 특징과 CRF 파라미터를 종단간 학습할 수 있도록 하기 위해.
• 지역적 및 전역적 종속성의 공동 최적화를 통해 PASCAL VOC 2012와 같은 복잡한 실세계 데이터셋에서 세분화 정확도를 향상시키기 위해.

제안 방법

• 16층의 DeepNet(일원 잠재변수를 위한) 및 풀커넥티드 CRF(이원 잠재변수를 위한)의 파라미터를 동시에 최적화하는 공동 학습 알고리즘을 제안하며, 종단간 학습 과정에서 단일한 최적화 프로세스를 구현한다.
• 역전파 과정 중 CRF 추론을 가능하게 하기 위해 변분 평균장 근사를 사용하여 CRF 추론의 계산 가능성을 확보한다.
• 일반적으로 풀커넥티드 CRF에서 계산이 불가능한 정규화 항을 위한 미분 가능한 근사값을 제안하여, 정규화 항을 통해 역전파를 가능하게 한다.
• 모든 가능한 레이블 구성에 대한 소프트맥스 정규화를 사용하여 확률 분포를 계산함으로써, 기울기 기반 최적화를 가능하게 한다.
• 미니배치를 사용한 확률적 경사 하강법을 적용하여 모델을 학습시키며, CNN 및 CRF 구성 요소 양쪽 모두를 통해 역전파를 수행한다.
• 가우시안 커널을 사용한 CRF 이원 잠재변수의 파arameter화 방식을 도입하며, 이는 CNN 특징과 함께 함께 학습된다.

실험 결과

연구 질문

• RQ1 딥 CNN과 풀커넥티드 CRF의 종단간 공동 학습이 두 단계 학습 방식에 비해 세분화 성능을 향상시킬 수 있는가?
• RQ2 일원 CNN 특징과 이원 CRF 파라미터의 공동 최적화가 모델의 객체 경계 유지 능력과 클래스 모호성 처리 능력에 미치는 영향는 어떠한가?
• RQ3 미분 가능한 CRF 추론이 공동 학습 과정의 수렴성과 안정성에 미치는 영향는 어떠한가?
• RQ4 제안된 방법이 노이즈가 많거나 모호한 입력이 포함된 어려운 실세계 세분화 시나리오에 일반화 가능한가?
• RQ5 CNN과 CRF의 별도 학습을 사용하는 이전 최신 기술 수준의 방법과 비교하여, 공동 학습 프레임워크는 정량적으로 어떻게 성능을 냈는가?

주요 결과

• 공동 학습 방식은 PASCAL VOC 2012 검증 세트에서 평균 교차율(mIoU) 64.06%를 달성하였으며, Chen 등 [3]이 보고한 별도 학습 기반 베이스라인(63.74%)을 능가하였다.
• 공동 학습 단계에서 약 20회 반복 후 성능이 정점에 도달하여, CNN 특징이 정밀 조정된 후 빠른 수렴을 보였다.
• 베이스라인 대비 1.5% 향상된 일원 특징 성능을 기록하였으며, 16층 DeepNet의 4000회 반복 정밀 조정 후 61.476% mIoU에 도달하였다.
• 명확하게 보이는 객체는 성공적으로 세분화하였지만, 노이즈가 많은 이미지 및 '자전거'와 '의자'와 같은 높은 변동성을 보이는 클래스에서는 검증 정확도가 학습 정확도의 약 절반 수준에 머물러 있어 어려움을 겪었다.
• 학습된 CRF 파라미터는 예측을 과도하게 매끄럽게 만들며, 객체 경계 근처에 노이즈를 유발하는 경향이 있어, 매끄러움과 경계 충실도 사이의 상충 관계를 보였다.
• 변분 평균장 근사를 통한 미분 가능한 CRF 추론을 가능하게 하여, 딥 네트워크와 풀커넥티드 CRF의 종단간 학습이 실현 가능해졌다.