[논문 리뷰] Top-Down Learning for Structured Labeling with Convolutional Pseudoprior

Saining Xie, Xun Huang외 1명|arXiv (Cornell University)|2015. 11. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 11

한 줄 요약

이 논문은 구조적 레이블링을 위한 상향식 학습 방법인 컨볼루션 허위사전(ConvPP)을 제안한다. 이는 지도 레이블에서 직접 컨볼루션 커널을 학습하여 단기 및 장기적 맥락적 의존성을 모델링한다. 고정점 네트워크와 허위우도 근사법을 사용함으로써 ConvPP는 엔드 투 엔드 학습을 가능하게 하며, 의미적 세그멘테이션 및 시나리오 레이블링 벤치마크에서 FCN, CRF-RNN, BoxSup 모델들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Current practice in convolutional neural networks (CNN) remains largely bottom-up and the role of top-down process in CNN for pattern analysis and visual inference is not very clear. In this paper, we propose a new method for structured labeling by developing convolutional pseudo-prior (ConvPP) on the ground-truth labels. Our method has several interesting properties: (1) compared with classical machine learning algorithms like CRFs and Structural SVM, ConvPP automatically learns rich convolutional kernels to capture both short- and long- range contexts; (2) compared with cascade classifiers like Auto-Context, ConvPP avoids the iterative steps of learning a series of discriminative classifiers and automatically learns contextual configurations; (3) compared with recent efforts combing CNN models with CRFs and RNNs, ConvPP learns convolution in the labeling space with much improved modeling capability and less manual specification; (4) compared with Bayesian models like MRFs, ConvPP capitalizes on the rich representation power of convolution by automatically learning priors built on convolutional filters. We accomplish our task using pseudo-likelihood approximation to the prior under a novel fixed-point network structure that facilitates an end-to-end learning process. We show state-of-the-art results on sequential labeling and image labeling benchmarks.

연구 동기 및 목표

• 구조적 예측을 위한 장거리 레이블 의존성을 모델링하는 데에 한계가 있는 하향식 CNN의 문제를 해결하기 위해.
• CRF, MRF, RNN이 맥락적 레이블 구성 요소를 캡처하기 위해 요구하는 높은 계산 비용과 수동 설정 문제를 해결하기 위해.
• 반복적 분류기 캐스케이드 없이 딥 컨볼루션 네트워크를 사용하여 레이블 공간에서의 구조적 사전을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 지도 레이블 맵에 대한 컨볼루션 필터를 통해 풍부하고 데이터 기반의 사전을 학습시켜 구조적 레이블링의 모델링 능력을 향상시키기 위해.

제안 방법

• 지도 레이블 맵에서 직접 컨볼루션 커널을 학습하여 맥락적 레이블 의존성을 모델링하는 컨볼루션 허위사전(ConvPP)을 제안한다.
• 허위우도 근사를 통해 사전을 근사함으로써 엔드 투 엔드 학습을 가능하게 하는 새로운 고정점 네트워크 구조를 활용한다.
• 세분화된 정보와 전역 맥락 정보를 모두 캡처하기 위해 다중 스케일 특징 융합(예: pool5, pool4, pool3)을 사용한다.
• 도넛 모양의 필터와 희소 연결성을 사용하여 '고양이가 침대 위에 있는' 또는 '음식-접시-테이블'과 같은 복잡한 레이블 맥락 패턴을 학습한다.
• 완전 컨볼루션 네트워크(FCN) 프레임워크에 ConvPP를 통합하여 하향식 특징과 상향식 사전의 공동 최적화를 가능하게 한다.
• 테스트 중 반복적 추론을 적용하여 맥락 사전을 사용해 예측을 개선함으로써 인간과 유사한 상향식 추론 방식을 모방한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 수동 설정 없이 지도 레이블에서 직접 구조적 사전을 학습할 수 있는가?
• RQ2 레이블 공간 내의 컨볼루션 커널이 단기 및 장기적 레이블 의존성을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 하향식 CNN에 비해 상향식 허위사전의 엔드 투 엔드 학습이 구조적 레이블링 작업의 성능을 향상시키는가?
• RQ4 허위우도 근사법을 사용하는 제안된 고정점 네트워크가 구조적 사전의 안정적이고 효과적인 학습을 가능하게 하는가?
• RQ5 다중 스케일 맥락 통합은 의미적 세그멘테이션 및 시나리오 레이블링에서 ConvPP 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• SIFT Flow 데이터셋에서 ConvPP-8s는 40.7%의 평균 교차율(mIoU)을 기록하여 FCN-8s 기준선보다 1.2% 높게 성능을 냈다.
• Pascal-Context 데이터셋에서 ConvPP-8s는 74.2% mIoU를 기록하여 FCN-8s 기준선과 CRF-RNN, BoxSup와 같은 최신 기술 수준의 모델들을 능가했다.
• 다중 스케일 맥락 통합에서 일관된 성능 향상이 나타났으며, ConvPP-8s(pool5+pool4+pool3)가 ConvPP-16s(pool5+pool4)와 ConvPP-32s(pool5)를 모두 앞섰다.
• 시각화 결과, 학습된 도넛 필터가 '고양이가 잔디 위에 있는' 또는 '음식-접시-테이블'과 같은 복잡한 레이블 구성 요소를 탐지하는 것으로 확인되었다.
• 테스트 중 반복적 추론을 통해 예측이 점차 개선되었으며, 이는 맥락 사전을 사용해 잘못된 레이블을 억제할 수 있음을 보여주었다.
• 하향식 및 상향식 구성 요소의 공동 최적화에서 약간의 성능 향상이 있었으며, 이는 ConvPP 구성 요소가 성능 향상의 주요 원인임을 시사한다.