[논문 리뷰] Deeply Learning the Messages in Message Passing Inference

Guosheng Lin, Chunhua Shen외 2명|arXiv (Cornell University)|2015. 06. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 29

한 줄 요약

이 논문은 조건부 랜덤 필드(CRF)의 메시지 전파 추론에서 컨volutional 신경망(CNN)을 직접 훈련시켜 잠재 함수를 학습하거나 평가할 필요 없이 메시지를 예측하는 새로운 딥러닝 프레임워크를 제안한다. 종단 간 메시지 추정기 학습을 통해 효율적인 훈련과 추론을 달성하며, 특히 클래스 수가 많을 경우에 매우 확장 가능하다. 단 한 번의 메시지 전파 반복만으로 PASCAL VOC 2012 테스트 세트에서 73.4%의 평균 IoU를 달성하여 최신 기준 성능을 확보한다.

ABSTRACT

Deep structured output learning shows great promise in tasks like semantic image segmentation. We proffer a new, efficient deep structured model learning scheme, in which we show how deep Convolutional Neural Networks (CNNs) can be used to estimate the messages in message passing inference for structured prediction with Conditional Random Fields (CRFs). With such CNN message estimators, we obviate the need to learn or evaluate potential functions for message calculation. This confers significant efficiency for learning, since otherwise when performing structured learning for a CRF with CNN potentials it is necessary to undertake expensive inference for every stochastic gradient iteration. The network output dimension for message estimation is the same as the number of classes, in contrast to the network output for general CNN potential functions in CRFs, which is exponential in the order of the potentials. Hence CNN message learning has fewer network parameters and is more scalable for cases that a large number of classes are involved. We apply our method to semantic image segmentation on the PASCAL VOC 2012 dataset. We achieve an intersection-over-union score of 73.4 on its test set, which is the best reported result for methods using the VOC training images alone. This impressive performance demonstrates the effectiveness and usefulness of our CNN message learning method.

연구 동기 및 목표

• CNN 잠재 함수를 사용하는 CRF에서 공동 훈련의 계산 비효율성을 해결하기 위해, 경사 하강법(SGD) 단계마다 비용이 많이 드는 주변 추론이 필요로 하는 문제를 해결한다.
• 메시지를 직접 학습시킴으로써 잠재 함수의 순서에 따라 지수적(지수함수 형태, K^a)으로 증가하는 네트워크 출력 차원을 선형(선형 함수 형태, K)으로 줄여 고차원 클래스 설정에서의 확장성을 향상시킨다.
• 단 한 번의 메시지 전파 반복을 사용하는 메시지 추정기 학습을 통해 빠른 추론을 가능하게 한다.
• 기존의 CRF-CNN 공동 훈련 방식과 비교해 직접 메시지 학습이 성능을 유사하거나 초월할 수 있음을 입증한다.

제안 방법

• 메시지 전파 추론에서 메시지를 직접 추정하는 딥 컨volution 신경망(CNN)을 훈련시키는 방법을 제안하며, 잠재 함수를 학습할 필요 없이 이를 대체한다.
• 클래스 수 K와 동일한 출력 차원을 가지는 메시지 추정기 네트워크를 설계하여 잠재 함수의 순서 증가에 따른 지수적 증가를 방지한다.
• 표준 분류 목적 함수를 사용해 종단 간 역전파를 통해 메시지 추정기를 훈련시키며, 훈련 중 반복적 추론이 필요 없도록 한다.
• 추론 시 단 한 번의 메시지 전파 반복을 사용하여 런타임을 크게 줄이면서도 높은 정확도를 유지한다.
• 일반화 및 성능 향상을 위해 데이터 증강(4가지 스케일 및 플립)을 적용한다.
• PASCAL VOC 2012 데이터셋을 사용해 영상 세분화에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망을 통해 잠재 함수를 명시적으로 모델링하지 않고도 CRF의 메시지 전파 추론을 종단 간으로 효과적으로 학습시킬 수 있는가?
• RQ2 기존의 CRF와 CNN의 공동 훈련 방식과 비교해 직접 메시지 학습이 훈련 및 추론 속도를 빠르게 하는가?
• RQ3 메시지 학습이 모델 복잡도를 줄이면서도 고차원 클래스 상황에서 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 기본 벤치마크에서 최신 기준 CRF-CNN 방법과 비교해 메시지 학습의 성능는 어떠한가?

주요 결과

• 제안된 방법은 PASCAL VOC 2012 테스트 세트에서 평균 교차율(IoU) 73.4%를 달성하여, 동일한 VOC extra 데이터셋으로 훈련된 모든 유사 방법보다 뛰어난 성능을 보였다.
• 단지 VOC 2012 훈련 세트(약 10,000장의 이미지)만을 사용함에도 불구하고, COCO 데이터셋으로 훈련된 방법들보다도 뛰어난 성능을 보였다. 이는 COCO에서 훈련된 모델들(약 133,000장의 이미지)과 유사한 성능를 달성함을 시사한다.
• 높은 데이터 효율성과 일반화 능력을 입증하며, 매우 적은 훈련 이미지로도 높은 성능를 달성했다.
• 단 한 번의 메시지 전파 반복만으로도 높은 성능를 달성하여 추론이 거의 즉각적이며 매우 확장 가능하다.
• 메시지 추정기 네트워크는 클래스 수 K에 해당하는 출력만을 가지며, 특히 높은 K 값일 경우 잠재 함수 기반 접근 방식보다 훨씬 적은 파라미터를 가진다.
• PASCAL VOC 2012 테스트 세트의 대부분의 카테고리에서 DeepLab-CRF, CRF-RNN, ContextDCRF 등의 베이스라인 CRF-CNN 모델보다 성능가 뛰어나다.