[논문 리뷰] End-to-end Learning of LDA by Mirror-Descent Back Propagation over a Deep Architecture

Jianshu Chen, Ji He외 6명|arXiv (Cornell University)|2015. 08. 14.

Speech Recognition and Synthesis참고 문헌 22인용 수 8

한 줄 요약

이 논문은 깊이 있는 아키텍처를 기반으로 미러 강하 역전파를 사용하여 잠재 딜리클레 할당(LDA)에 대한 엔드 투 엔드, 완전히 결정적인 학습 방법을 제안한다. 이는 주제 추론과 모델 파라미터의 동시 최적화를 가능하게 하며, 이전의 지도형 주제 모델보다 뛰어난 성능을 보이고 실제 분류 및 회귀 과제에서 딥 네트워크와 경쟁 가능한 성능을 기록한다.

ABSTRACT

We develop a fully discriminative learning approach for supervised Latent Dirichlet Allocation (LDA) model using Back Propagation (i.e., BP-sLDA), which maximizes the posterior probability of the prediction variable given the input document. Different from traditional variational learning or Gibbs sampling approaches, the proposed learning method applies (i) the mirror descent algorithm for maximum a posterior inference and (ii) back propagation over a deep architecture together with stochastic gradient/mirror descent for model parameter estimation, leading to scalable and end-to-end discriminative learning of the model. As a byproduct, we also apply this technique to develop a new learning method for the traditional unsupervised LDA model (i.e., BP-LDA). Experimental results on three real-world regression and classification tasks show that the proposed methods significantly outperform the previous supervised topic models, neural networks, and is on par with deep neural networks.

연구 동기 및 목표

• 기존의 변분 또는 깁스 샘플링 방법의 한계를 극복하기 위해 완전히 결정적인 학습을 가능하게 하기 위해.
• 정확한 MAP 추론을 위한 미러 강하를 백프로파게이션과 통합하여 모델 파라미터의 엔드 투 엔드 최적화를 실현하기 위해.
• 문서에 주어진 레이블의 사후 확률을 최대화하는 스케일러블하고 원칙적인 방법을 개발하여 예측 정확도를 향상시키기 위해.
• 동일한 백프로파게이션 메커니즘을 사용하여 비지도 LDA(BP-LDA)로 프레임워크를 확장하기 위해.
• 실제 회귀 및 분류 과제에서 기존의 지도형 주제 모델과 딥 네트워크보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 해당 방법은 주제 분포의 최대 사후 확률(MAP) 추론 문제를 해결하기 위해 미러 강하 알고리즘(MDA)을 사용하며, 특정 딜리클레 파라미터 조건 하에서 이는 볼록 문제이다.
• 손실 함수에 대한 모델 파라미터의 기울기를 계산하기 위해 MDA 기반 추론 모듈을 통해 역전파를 적용함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 기울기 계산은 추론 네트워크를 거쳐 재귀적으로 역전파를 수행하며, 에러를 출력에서 모델 파라미터로 전파하기 위해 수반 방법을 사용한다.
• 분류 과제의 경우, 변환 행렬 U에 대한 손실의 기울기는 $ -\frac{1}{\mathds{1}^{T}p_{L}}(I-\mathds{1}\theta_{L}^{T})\cdot U^{T}\cdot\gamma\cdot(y_{d}-\hat{y}_{d}) $ 로 유도되며, 이와 유사한 표현이 회귀 과제에도 적용된다.
• 과도한 수치 오차를 방지하기 위해 $ p_{\ell} $ 와 $ \delta_{\ell} $ 를 대체하는 변수 $ \xi_{d,\ell} = \mathds{1}^{T}p_{\ell} \cdot \delta_{\ell} $ 를 도입하여 수치 안정성을 향상시켰다.
• 프레임워크는 지도형(BP-sLDA)과 비지도(BP-LDA) LDA 모두에 적용되었으며, 주제 분포와 모델 파라미터의 공동 최적화가 이루어졌다.

실험 결과

연구 질문

• RQ1 미러 강하 기반 MAP 추론을 백프로파게이션과 통합하여 지도형 LDA의 엔드 투 엔드 학습을 가능하게 할 수 있는가?
• RQ2 문서에 주어진 레이블의 사후 확률을 최대화하는 완전히 결정적인 학습 방식이 기존의 생성형 또는 하이브리드 접근 방식보다 예측 성능을 향상시키는가?
• RQ3 제안된 방법이 실제 자연어 처리 과제에서 딥 네트워크와 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 MDA와 백프로파게이션의 통합이 학습 안정성과 확장성에 어떤 영향을 미치는가?
• RQ5 동일한 프레임워크를 비지도 LDA(BP-LDA)로 확장할 수 있으며, 이와 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 BP-sLDA 방법은 세 가지 실세계 회귀 및 분류 과제에서 이전의 지도형 주제 모델보다 뚜렷이 뛰어난 성능을 기록했다.
• BP-sLDA는 딥 네트워크와 유사한 성능을 달성하여 엔드 투 엔드 결정적 학습의 효과성을 입증했다.
• 주제 추론과 모델 파라미터의 공동 최적화를 통해 기존의 두 단계 학습 방식의 비최적화 문제를 피함으로써 뛰어난 정확도를 달성했다.
• 미러 강하와 백프로파게이션의 통합은 정확한 MAP 추론과 깊이 있는 아키텍처에서도 안정적인 기울기 흐름을 가능하게 했다.
• 변수 $ \xi_{d,\ell} $ 를 통한 수치 안정성 향상은 큰 $ p_{\ell} $ 와 작은 $ \delta_{\ell} $ 로 인한 문제를 효과적으로 완화하여 학습 신뢰도를 향상시켰다.
• 비지도 LDA(BP-LDA)로의 확장 결과, 프레임워크가 결정적 및 생성적 설정 모두에 일반화 가능하고 효과적임을 보였다.