[논문 리뷰] Learning Deep Structured Models

Liang-Chieh Chen, Alexander G. Schwing외 2명|arXiv (Cornell University)|2014. 07. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 114

한 줄 요약

이 논문은 깊이 신경망과 마르코프 무작위장(MRFs)을 통합하여 출력 변수 간의 의존성을 모델링하는 공동 학습 프레임워크를 제안한다. 이는 GPU 가속 기반의 경사 하강법을 통해 학습과 추론을 동기화하는 혼합 최적화 전략을 사용한다. 이 방법은 노이즈가 있는 이미지에서의 단어 예측 및 다중 클래스 이미지 분류 과제에서 깊이 특징과 MRF 잠재변수를 공동으로 학습함으로써 성능을 크게 향상시키며, 조각별 또는 단일 특징 학습 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Many problems in real-world applications involve predicting several random variables which are statistically related. Markov random fields (MRFs) are a great mathematical tool to encode such relationships. The goal of this paper is to combine MRFs with deep learning algorithms to estimate complex representations while taking into account the dependencies between the output random variables. Towards this goal, we propose a training algorithm that is able to learn structured models jointly with deep features that form the MRF potentials. Our approach is efficient as it blends learning and inference and makes use of GPU acceleration. We demonstrate the effectiveness of our algorithm in the tasks of predicting words from noisy images, as well as multi-class classification of Flickr photographs. We show that joint learning of the deep features and the MRF parameters results in significant performance gains.

연구 동기 및 목표

• 딥 러닝에서 특징과 구조적 의존성의 분리된 학습으로 인해 최적의 성능을 내지 못하는 문제를 해결하기 위해.
• 출력 변수 간의 통계적 의존성을 포괄하는 깊이 표현과 MRF 잠재변수의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 일반적인 그래픽 모델에서 추론이 NP-완전이고 분할 함수 계산이 #P-완전한 데도 불구하고, 확장 가능한 깊이 구조적 모델의 학습을 위한 효율적인 최적화 알고리즘을 개발하기 위해.
• 실제 시각 과제에서 조각별 또는 이중 단계 학습보다 공동 학습이 우월함을 입증하기 위해.

제안 방법

• 딥 신경망 특징과 MRF 잠재변수를 단일 루프 알고리즘을 통해 동시에 학습하는 공동 최적화 프레임워크를 제안한다.
• 온도 파라미터 ε가 분포의 날카기 정도를 조절하는 가역적 냉각 소프트맥스 정의를 사용하여 출력 구성에 대한 확률 분포를 정의한다.
• 부정적 로그우도를 최소화하기 위해 경사 하강법을 사용하며, 이는 이중 최적화를 통해 분할 함수 Zε(x,w)를 통한 기울기 계산을 포함한다.
• 블록-좌표 강하법을 적용하여 깊이 신경망 가중치와 MRF 파rameter 간을 번갈아 갱신함으로써 GPU 가속을 통한 효율적인 학습을 가능하게 한다.
• 최대 마진 학습 문제를 최소-최대 최적화 문제로 재구성함으로써, 추론이 각 단계에서 수렴할 필요 없이도 공동 갱신이 가능한 블렌딩 전략을 도입한다.
• 미니배치 학습과 ImageNet 사전 학습 초기화를 활용한 모멘텀 기반 하향 기울기 방법을 사용하여 수렴 성능 향상.

실험 결과

연구 질문

• RQ1 깊이 특징과 MRF 잠재변수의 공동 학습이 구조적 예측 과제에서 분리 또는 조각별 학습보다 더 높은 성능을 내는가?
• RQ2 일반적인 그래픽 모델에서 추론이 NP-완전하고 분할 함수 계산이 #P-완전한 데도 불구하고, 추론과 학습을 융합한 엔드 투 엔드 학습을 어떻게 효율적으로 구현할 수 있는가?
• RQ3 MRF 잠재변수를 통한 구조적 의존성의 통합이 시각 과제에서 깊이 모델의 예측 정확도에 어떤 영향을 미치는가?
• RQ4 학습과 추론을 융합함으로써 반복적이고 번갈아 가며 수행하는 기존 방법에 비해 학습 속도와 수렴 성능가 개선되는가?

주요 결과

• Flickr30K 데이터셋에서 깊이 특징과 MRF 파rameter의 공동 학습은 분류 오차를 7.25%로 감소시켰으며, 단일 특징 학습(9.36%)과 조각별 학습(7.70%)보다 뛰어난 성능을 보였다.
• Word50 데이터셋에서 공동 학습은 1.11%의 오차율을 달성하여 노이즈가 있는 이미지에서의 단어 예측에서 기존 기준 방법보다 일관된 성능 향상을 보였다.
• 학습된 MRF 잠재변수들은 의미 있는 의미 상관관계를 포착하였으며, 예를 들어 'people'은 'female', 'male', 'portrait'와 높은 상관관계를 보였고, 'sea'는 'water', 'sky', 'clouds'와 공시출현하는 경향을 보였다.
• 학습과 추론을 융합함으로써 훈련 시간을 크게 단축시켰으며, 표준 반복적 방법보다 더 낮은 음의 로그우도와 훈련 오차를 더 빨리 달성하였다.
• 출력 간 상호보완적 정보를 활용함으로써 다중 클래스 이미지 분류 및 단어 예측 과제에서 최고 성능을 달성하였다.
• GPU 가속과 학습 루프 내부에서의 근사 추론을 활용함으로써 프레임워크는 확장 가능하고 효율적이며, 대규모 그래픽 모델의 학습이 가능해졌다.