[論文レビュー] Factorized Multi-Modal Topic Model

Seppo Virtanen, Yangqing Jia+2 more|arXiv (Cornell University)|Oct 16, 2012

Topic Modeling参考文献 13被引用数 33

ひとこと要約

本論文は、テキストや画像などの複数のモダリティ間で共有およびプライベートなトピックを同時に学習する、階層ディリクレ過程（HDP）に基づく新規なトピックモデルを提案する。変動要因をモダリティ共有およびモダリティ固有の成分に分解することで、効果的なクロスモダリティ検索が可能となり、特にモダリティ間の相関が弱い状況でも、既存手法を上回る性能を発揮する。

ABSTRACT

Multi-modal data collections, such as corpora of paired images and text snippets, require analysis methods beyond single-view component and topic models. For continuous observations the current dominant approach is based on extensions of canonical correlation analysis, factorizing the variation into components shared by the different modalities and those private to each of them. For count data, multiple variants of topic models attempting to tie the modalities together have been presented. All of these, however, lack the ability to learn components private to one modality, and consequently will try to force dependencies even between minimally correlating modalities. In this work we combine the two approaches by presenting a novel HDP-based topic model that automatically learns both shared and private topics. The model is shown to be especially useful for querying the contents of one domain given samples of the other.

研究の動機と目的

• 既存のトピックモデルがマルチモーダルデータを処理する際の限界を克服し、モダリティ間で共有および固有のトピックを区別すること。
• 現在のモデルが、相関が最小限のモダリティ間で人工的な依存関係を強制することができないという問題を克服すること。
• 連続データ向けの標準的相関分析と、度数データ向けのトピックモデルの長所を統合する包括的な確率的フレームワークを構築すること。
• 特に、1つのモダリティからのクエリで他方のモダリティのコンテンツを効果的に検索可能にする、クロスモダリティクエリの実現

提案手法

• トピック数の非パrametric推論を可能にするために、階層ディリクレ過程（HDP）を用いる。
• 生成プロセスを、複数のモダリティ間で共起を説明する共有トピックと、各モダリティ固有のトピックに分解する。
• 各モダリティの観測値（例：テキストの単語度数、画像特徴量）は、共有トピックおよびプライベートトピックを条件とする独立にモデル化される。
• トピックとトピック割り当ての事後分布を推定するために、畳み込みギブスサンプリングによる推論手順を採用する。
• モダリティ固有およびクロスモダリティ依存性を尊重するように、共有およびプライベートトピック分布を共同で学習するための同時尤度の定式化を採用する。
• ペアド画像・テキストコーパス上でモデルを学習し、観測データの周辺尤度を最大化するように推論を最適化する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルデータにおいて、トピックモデルは、モダリティ間で共有されるトピックと、1つのモダリティに固有のトピックを効果的に区別できるか？
• RQ2 相関が弱い状況下で、プライベートトピックの導入がクロスモダリティ検索性能にどのように寄与するか？
• RQ3 本手法は、意味的に明確で分離可能な表現を学習する点で、既存のマルチモーダルトピックモデルをどの程度上回るか？
• RQ4 事前に指定なしに、共有およびプライベートトピックの数を自動的に特定できるか？
• RQ5 1つのモダリティからのクエリを用いて、他方のモダリティのコンテンツをどの程度効果的に検索できるか？

主な発見

• 本モデルは、共有およびプライベートトピックを効果的に学習でき、マルチモーダルデータのより正確で解釈可能な表現が可能である。
• 特に、モダリティ間の相関が弱いか、ノイズが多い状況でも、クロスモダリティ検索性能が顕著に向上する。
• プライベートトピックの導入により、関係のないモダリティ間で誤った依存関係を強制するのを防げる。
• 画像・テキストデータセットにおける実験結果から、本手法はベースライン手法に比べて、検索精度およびトピックの一貫性の両面で優れた性能を示す。
• ゼロショットクロスモダリティ検索においても、優れた性能を発揮する。これは、1つのモダリティからのクエリが、他方のモダリティの関連コンテンツを効果的に検索できることを意味する。
• HDPに基づく構造により、トピック数の自動発見が可能となり、手動によるハイパーパramータチューニングの必要性が低減される。