[논문 리뷰] Contrastive estimation reveals topic posterior information to linear models

Christopher Tosh, Akshay Krishnamurthy외 1명|arXiv (Cornell University)|2020. 03. 04.

Topic Modeling참고 문헌 25인용 수 19

한 줄 요약

이 논문은 주제 모델링 가정 하에서의 대비 학습이 선형 분류기에게 잠재 주제 사후 정보를 드러내는 문서 표현을 생성할 수 있음을 보여준다. 진짜 문서를 양성 쌍으로, 붙인 문서 반쪽을 부정 쌍으로 삼아 훈련함으로써, 이 방법은 선형 모델이 주제 사후 확률을 정확하게 예측할 수 있게 하여, 저자원 반감독 문서 분류 설정에서 성능을 크게 향상시킨다.

ABSTRACT

Contrastive learning is an approach to representation learning that utilizes naturally occurring similar and dissimilar pairs of data points to find useful embeddings of data. In the context of document classification under topic modeling assumptions, we prove that contrastive learning is capable of recovering a representation of documents that reveals their underlying topic posterior information to linear models. We apply this procedure in a semi-supervised setup and demonstrate empirically that linear classifiers with these representations perform well in document classification tasks with very few training examples.

연구 동기 및 목표

• 대비 학습이 문서 표현에서 잠재 주제 사후 정보를 복원할 수 있는지 조사하는 것.
• 저자원 반감독 학습 설정에서 대비 표현에 적용된 선형 분류기의 효과성을 평가하는 것.
• 모델 용량과 훈련 데이터 크기가 주제 복원 성능에 미치는 영향을 분석하는 것.
• 대비 학습과 주제 모델 하에서 사후 추론 간 이론적이고 경험적인 연결 고리를 확립하는 것.

제안 방법

• 실제 문서를 양성 쌍으로, 혼합된 문서 반쪽을 부정 쌍으로 사용하여 대비 훈련 쌍을 구성한다.
• 양성 쌍과 부정 쌍을 구분하는 손실 함수를 사용하여 표현 공간에서의 분리가 유도되도록 대비 모델을 훈련시킨다.
• 공유 가중치를 가진 이중 브랜치 신경망 아키텍처를 사용하여 문서를 잠재 공간에 임bedding한다.
• 주제 모델에서 1,000개의 샘플 문서를 사용하여 지표 기반 근사법을 통해 문서 표현을 생성한다.
• 학습된 표현과 가능도 행렬을 사용하여 모델 기반 사후 확률을 재구성하고 주제 분포를 추정한다.
• 대비 표현에 대해 선형 분류기를 훈련하고, 하류 주제 예측 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대비 학습이 선형 분류기가 정확한 분류를 수행할 수 있도록 충분한 주제 사후 정보를 복원할 수 있는가?
• RQ2 모델 용량은 대비 표현에서 주제 복원 품질에 어떤 영향을 미치는가?
• RQ3 비라벨 훈련 코퍼스의 크기가 주제 예측 정확도에 어떤 영향을 미치는가?
• RQ4 대비 학습은 매우 적은 레이블 예제로 효과적인 반감독 문서 분류를 가능하게 하는가?

주요 결과

• 대비 표현은 레이블 데이터가 부족한 상황에서 선형 분류기가 주제 예측에서 높은 정확도를 달성하는 데 기여한다.
• 디리클레 초모수 α가 증가할수록 성능이 저하되지만, 이는 모델 용량이나 훈련 데이터 크기를 늘림으로써 완화될 수 있다.
• 대비 훈련 세트의 재샘플링 빈도를 600K에서 6M으로 늘임으로써 모든 설정에서 주제 복원 정확도가 향상된다.
• 더 큰 모델(층당 512개 노드)은 더 작은 모델(층당 256개 노드)보다 성능이 뛰어나며, 특히 α 값이 높을수록 두드러진다. 이는 모델 용량이 표현 품질을 향상시킨다는 것을 시사한다.
• 이 방법은 레이블 데이터가 극히 적은 경우에도 강력한 성능을 보이며, 반감독 설정에서의 유용성을 확인한다.
• 주제 간 총 변동 거리가 α가 증가함에 따라 증가함을 확인하여, 주제가 점점 더 유사해질수록 주제 분리가 어려워지는 것을 확인한다.