[논문 리뷰] Discriminative Topic Modeling with Logistic LDA

Iryna Korshunova, Hanchen Xiong외 2명|arXiv (Cornell University)|2019. 09. 03.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

이 논문은 LDA의 생성적 구성 요소를 신경망으로 대체함으로써 텍스트 임베딩, 다중모odal 데이터 등과 같은 임의의 입력 유형으로 LDA를 확장하는 분류형 주제 모델인 Logistic LDA를 제안한다. 이 모델은 주제의 해석 가능성과 군집 구조에 대한 인도적 편향을 유지하면서도, 단지 단어 임베딩과 비지도 학습을 사용하여 20-Newsgroups에서 84.4%의 정확도를 달성하며, 더 단순한 베이스라인을 능가하고 복잡한 LSTM 모델과 유사한 성능을 내는 등 경쟁력 있는 성능을 보인다.

ABSTRACT

Despite many years of research into latent Dirichlet allocation (LDA), applying LDA to collections of non-categorical items is still challenging. Yet many problems with much richer data share a similar structure and could benefit from the vast literature on LDA. We propose logistic LDA, a novel discriminative variant of latent Dirichlet allocation which is easy to apply to arbitrary inputs. In particular, our model can easily be applied to groups of images, arbitrary text embeddings, and integrates well with deep neural networks. Although it is a discriminative model, we show that logistic LDA can learn from unlabeled data in an unsupervised manner by exploiting the group structure present in the data. In contrast to other recent topic models designed to handle arbitrary inputs, our model does not sacrifice the interpretability and principled motivation of LDA.

연구 동기 및 목표

• 이산적인 단어 외의 더 rich한 데이터 유형(예: 이미지, 텍스트 임베딩, 다중모달 컬렉션 등)으로 LDA를 일반화할 수 있는 주제 모델을 개발하는 것.
• 더 나은 확장성과 성능를 위해 분류형 학습 접근법을 채택하면서도 LDA의 해석 가능성과 구조적 인도적 편향을 유지하는 것.
• 항목들(예: 트윗, 핀, 영상 등)의 군집 구조를 약한 지도 신호로 활용하여 비지도 학습을 가능하게 하는 것.
• GloVe와 같은 사전 학습된 임베딩과 깊이 신경망에 원활하게 통합하는 것.
• LSTM과 같은 복잡한 순차 모델의 경량 대안으로서 문서 분류에 효과적인 성능을 내는 것.

제안 방법

• Logistic LDA는 입력 특징(예: 단어 임베딩)을 주제 분포로 매핑하는 신경망을 도입하여 LDA의 생성적 구성 요소를 대체함으로써 임의의 입력 유형에 적용할 수 있도록 한다.
• 모델은 조건부 인수 분해 $ p(m{c}, m{ heta} vert m{x})p(m{x}) $를 사용하며, 여기서 $ m{c} $는 주제 할당, $ m{ heta} $는 모델 파라미터, $ m{x} $는 입력이다. 이는 분류형이면서도 LDA의 구조적 인도적 편향을 유지한다.
• 평균 필드 변분 추론을 사용하여 로그우도의 변분 하한을 최적화함으로써 비지도, 준지도, 지도 학습 설정에서 모델을 학습한다.
• 지도 학습을 위해 경험적 위험 최소화 접근법을 도입하여 레이블이 존재할 경우 임의의 손실 함수(예: 교차 엔트로피)를 최적화할 수 있도록 한다.
• 모델은 LDA의 범주형 주제 할당을 대체하기 위해 $ p(m{k}_{dn} vert m{x}_{dn}, m{ heta}) $의 조건부 분포를 신경망으로 매개변수화한다. 이는 미분 가능하고 학습 가능한 함수이다.
• 주제의 해석 가능성은 주제별 상위 단어를 추출함으로써 유지되며, 주제 일관성 점수와 분류 정확도를 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이미지, 텍스트 임베딩, 다중모달 데이터와 같은 임의의 입력 유형을 다룰 수 있는 분류형 주제 모델을 설계할 수 있는가? 이때 LDA의 해석 가능성은 유지되어야 한다.
• RQ2 트윗 또는 핀의 컬렉션과 같은 수준의 군집 구조를 활용하면, 명시적인 레이블 없이도 효과적인 비지도 학습이 가능한가?
• RQ3 20-Newsgroups와 같은 표준 NLP 벤치마크에서 LSTMs와 같은 딥러닝 베이스라인과 비교해 볼 때 Logistic LDA의 성능는 어떠한가?
• RQ4 복잡한 모델들(예: oh-2LSTMp)과 비교해도 경량의 비생성적 모델이 효과적인 성능을 낼 수 있는가? 이때 명시적인 주제 표현이 제공되어야 한다.
• RQ5 하류 작업(예: 교차 엔트로피)을 위한 추론 목표를 최적화하면, 손실에 민감하지 않은 목표 함수보다 더 나은 성능을 내는가?

주요 결과

• Logistic LDA는 300차원의 GloVe 단어 임베딩과 경량 신경망만을 사용하여 20-Newsgroups 문서 분류 벤치마크에서 84.4%의 정확도를 달성한다.
• 사전 학습된 오토인코더로 초기화된 복잡한 LSTM 분류기인 SA-LSTM과 유사한 성능를 보이지만, 학습 소요 시간은 수일이 아닌 수시간으로 훨씬 단축된다.
• 평균 필드 변분 추론을 사용한 비지도 학습은 일관성 있는 주제를 성공적으로 발견한다. 예를 들어 '자동차' 주제(예: bmw, car, engine)와 '우주 탐사' 주제(예: spacecraft, rocket, orbit) 등이다.
• 교차 엔트로피 손실을 사용해 추론 목표를 최적화하면 손실에 민감하지 않은 목표 함수보다 유의미하게 높은 정확도(84.4%)를 기록한다(손실 민감도 없음: 82.2%), 이는 작업에 특화된 최적화의 이점이 있음을 확인한다.
• 비지도 주제 발견 성능도 뛰어나며, Srivastava와 Sutton의 최신 모델과 유사한 수준의 NPMI 일관성 점수를 기록한다.
• Logistic LDA는 명시적인 주제 표현을 유지함으로써 해석 가능성을 유지하면서도, 깊이 신경망과 임의의 입력 모odal리티와의 엔드 투 엔드 학습을 가능하게 한다.