[논문 리뷰] Factorized Multi-Modal Topic Model

Seppo Virtanen, Yangqing Jia외 2명|arXiv (Cornell University)|2012. 10. 16.

Topic Modeling참고 문헌 13인용 수 33

한 줄 요약

이 논문은 텍스트 및 이미지와 같은 여러 모odal 간에 공유 주제와 비공유 주제를 함께 학습하기 위해 변동성을 모달리티 공유 및 모달리티 비공유 성분으로 분해하는 새로운 계층적 디리ش레트 과정 기반 주제 모델을 제안한다. 이 모델은 효과적인 다중모달 검색을 가능하게 하며, 특히 모달리티 간 상관관계가 약할 경우, 한 모달리티의 샘플을 사용하여 다른 모달리티를 검색할 때 기존 방법들을 능가한다.

ABSTRACT

Multi-modal data collections, such as corpora of paired images and text snippets, require analysis methods beyond single-view component and topic models. For continuous observations the current dominant approach is based on extensions of canonical correlation analysis, factorizing the variation into components shared by the different modalities and those private to each of them. For count data, multiple variants of topic models attempting to tie the modalities together have been presented. All of these, however, lack the ability to learn components private to one modality, and consequently will try to force dependencies even between minimally correlating modalities. In this work we combine the two approaches by presenting a novel HDP-based topic model that automatically learns both shared and private topics. The model is shown to be especially useful for querying the contents of one domain given samples of the other.

연구 동기 및 목표

• 기존 주제 모델이 다중모달 데이터를 다루는 데에 한계가 있음을 해결하기 위해, 모달리티 간에 공유 주제와 비공유 주제를 구분하는 것.
• 현재 모델이 상관관계가 거의 없는 모달리티 간에 인위적인 의존 관계를 강제로 만들지 못하는 문제를 해결하는 것.
• 연속형 데이터에 대한 공선성 분석의 강점과 수형 데이터에 대한 주제 모델의 강점을 통합하는 통합된 확률적 프레임워크를 개발하는 것.
• 특히 한 모달리티를 사용하여 다른 모달리티의 콘텐츠를 검색할 수 있도록 효과적인 다중모달 쿼리 기능을 제공하는 것.

제안 방법

• 모델은 주제에 대한 비모수적 추론을 가능하게 하여 주제 수를 자동으로 발견할 수 있도록 계층적 디리슈레트 과정(HDP)을 사용한다.
• 생성 과정을 다양한 모달리티 간 공통으로 발생하는 공유 주제와 각 모달리티에 특화된 비공유 주제로 분해한다.
• 각 모달리티의 관측치(예: 텍스트의 단어 수, 이미지 특징)는 공유 주제와 비공유 주제가 주어진 조건 하에서 조건부 독립으로 모델링된다.
• 모델은 주제 및 주제 할당에 대한 사후 분포를 추정하기 위해 병합된 지브스 샘플링 추론 절차를 사용한다.
• 모달리티별 의존성과 다중모달 의존성을 존중하는 공동 가능도 공식을 통해 공유 주제 및 비공유 주제 분포를 함께 학습한다.
• 모델은 쌍으로 구성된 이미지-텍스트 코퍼스에서 훈련되며, 관측된 데이터의 주변 가능도를 최대화하도록 추론가 최적화된다.

실험 결과

연구 질문

• RQ1 다중모달 데이터에서 모달리티 간에 공유되는 주제와 한 모달리티에만 국한된 주제를 효과적으로 구분할 수 있는가?
• RQ2 모달리티 간 상관관계가 약할 경우 비공유 주제의 포함이 다중모달 검색 성능을 얼마나 향상시키는가?
• RQ3 제안된 모델이 의미 있고 분리된 표현을 학습하는 데서 기존의 다중모달 주제 모델을 얼마나 뛰어나게 하는가?
• RQ4 사전 지정 없이도 공유 주제 및 비공유 주제의 수를 자동으로 결정할 수 있는가?
• RQ5 한 모달리티에서의 쿼리를 사용하여 다른 모달리티의 콘텐츠를 검색하는 데서 모델의 성능은 어떠한가?

주요 결과

• 모델은 공유 주제와 비공유 주제를 성공적으로 학습하여 다중모달 데이터의 더 정확하고 해석 가능한 표현을 가능하게 한다.
• 특히 모달리티 간 상관관계가 약하거나 노이즈가 많은 경우, 다중모달 검색 성능을 크게 향상시킨다.
• 비공유 주제의 포함으로 인해 관련성이 없는 모달리티 간에 인위적인 의존 관계를 강제로 만들지 않는다.
• 이미지-텍스트 데이터셋에서의 실험 결과, 모델은 검색 정확도와 주제 일관성 측면에서 베이스라인 방법들을 능가한다.
• 제로샷 다중모달 검색에서 뛰어난 성능을 기록하며, 한 모달리티에서의 쿼리가 다른 모달리티의 관련 콘텐츠를 효과적으로 검색할 수 있다.
• HDP 기반 아키텍처는 주제 수의 자동 발견을 가능하게 하여 수동 하이퍼파라미터 튜닝의 필요성을 줄인다.