[논문 리뷰] Convolutional Pseudo-Prior for Structured Labeling.

Saining Xie, Xun Huang외 1명|arXiv (Cornell University)|2015. 11. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 구조적 레이블링을 위한 새로운 엔드 투 엔드 딥러닝 방법인 컨볼루션 허위 사전(ConfPP)을 소개한다. 이 방법은 컨볼루션 필터를 사용해 지표 레이블에서 직접 문맥 사전을 학습한다. 고정점 네트워크와 허위 우도 근사법을 활용함으로써, 반복적 보정이나 수작업 사전 설계 없이도 이미지 및 순차적 레이블링 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Current practice in convolutional neural networks (CNN) remains largely bottom-up and the role of top-down process in CNN for pattern analysis and visual inference is not very clear. In this paper, we propose a new method for structured labeling by developing convolutional pseudo-prior (ConvPP) on the ground-truth labels. Our method has several interesting properties: (1) compared with classical machine learning algorithms like CRFs and Structural SVM, ConvPP automatically learns rich convolutional kernels to capture both short- and long- range contexts; (2) compared with cascade classifiers like Auto-Context, ConvPP avoids the iterative steps of learning a series of discriminative classifiers and automatically learns contextual configurations; (3) compared with recent efforts combing CNN models with CRFs and RNNs, ConvPP learns convolution in the labeling space with much improved modeling capability and less manual specification; (4) compared with Bayesian models like MRFs, ConvPP capitalizes on the rich representation power of convolution by automatically learning priors built on convolutional filters. We accomplish our task using pseudo-likelihood approximation to the prior under a novel fixed-point network structure that facilitates an end-to-end learning process. We show state-of-the-art results on sequential labeling and image labeling benchmarks.

연구 동기 및 목표

• 표준 CNN에서의 상향식 문맥적 추론의 제한된 역할을 해결하기 위해.
• Auto-Context와 같은 반복적 방법의 한계와 CRF-RNN 또는 CRF-SVM 하이브리드 모델에서의 수작업 사전 설계 부담을 극복하기 위해.
• 명시적인 그래픽 모델 사양 없이도 레이블 공간에서 풍부한 컨볼루션 사전을 자동으로 학습할 수 있는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 레이블링 공간 내에서 CNN의 표현 능력을 활용하여 구조적 예측의 모델링 능력과 일반화 성능을 향상시키기 위해.

제안 방법

• 레이블 공간에서 컨볼루션 필터를 사용해 지표 레이블에서 직접 사전을 학습하는 컨볼루션 허위 사전(ConvPP)을 제안한다.
• 반복적 추론 과정을 안정화시켜 엔드 투 엔드 학습을 가능하게 하는 고정점 네트워크 구조를 활용한다.
• 완전한 우도 계산이 필요 없이도 레이블 구성에 대한 사전 분포를 모델링하기 위해 허위 우도 근사법을 사용한다.
• 레이블 공간 내에서 스택된 컨볼루션 커널을 통해 국소적 및 장거리 종속성을 모두 학습함으로써 문맥 정보를 통합한다.
• 고정점 반복을 네트워크 아키텍처에 통합함으로써 반복적 학습 루프를 피하고, 특징과 사전 학습을 동시에 최적화할 수 있도록 한다.
• 수작업 특징 또는 사전 엔지니어링 없이도 딥 컨볼루션 표현을 통해 복잡한 레이블 구성 구조를 자동으로 발견할 수 있는 CNN의 표현 능력을 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 명시적인 그래픽 모델 설계 없이도 지표 레이블에서 직접 효과적인 문맥 사전을 학습할 수 있는가?
• RQ2 ConvPP는 구조적 예측에서 장거리 종속성을 포착하는 데 있어 CRF나 구조적 SVM과 같은 전통적 방법보다 어떻게 비교되는가?
• RQ3 Auto-Context와 같은 캐스케이드 기반 방법을 제거함으로써 반복적 분류기 학습을 피하는 ConvPP는 성능을 뛰어넘을 수 있는가?
• RQ4 레이블 공간 내에서 엔드 투 엔드로 컨볼루션 사전을 학습함으로써, 하이브리드 CNN-CRF 또는 CNN-RNN 아키텍처에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ5 고정점 네트워크 구조는 허위 우도 최적화를 통해 구조적 레이블링에 대해 안정적이고 효과적인 엔드 투 엔드 학습을 가능하게 하는가?

주요 결과

• ConvPP는 순차적 레이블링과 이미지 레이블링 벤치마크에서 모두 최고 성능을 달성하며, CRF, 구조적 SVM, 캐스케이드 분류기들을 능가한다.
• 이 방법은 레이블 공간 내에서 국소적 및 장거리 문맥 종속성을 모두 포착하는 풍부한 컨볼루션 커널을 자동으로 학습한다.
• 반복적 보정을 피함으로써 Auto-Context 및 유사한 캐스케이드 방법보다 학습 복잡도를 감소시킨다.
• 허위 우도 근사법 덕분에 전체 사후 추론이나 복잡한 최적화가 필요 없이도 효과적인 사전 학습이 가능하다.
• 고정점 네트워크 구조는 안정적인 엔드 투 엔드 학습을 보장하고 특징 및 사전 학습의 동시 최적화를 가능하게 한다.
• MRF와 같은 베이지안 모델에 비해 ConvPP는 딥 컨볼루션 표현을 통해 직접 사전을 학습함으로써 뛰어난 모델링 능력을 보여준다.