[論文レビュー] Contrastive estimation reveals topic posterior information to linear models

Christopher Tosh, Akshay Krishnamurthy+1 more|arXiv (Cornell University)|Mar 4, 2020

Topic Modeling参考文献 25被引用数 19

ひとこと要約

本稿では、トピックモデルの仮定の下で対照的学習を適用することで、ドキュメント表現が線形分類器に潜在的なトピック事後分布の情報を露にすることができることを示している。本手法は、実際のドキュメントをポジティブペアとして、貼り合わせたドキュメント断片をネガティブペアとして用いることで、線形モデルがトピック事後分布を正確に予測できるようにし、低ショット半教師ありドキュメント分類設定における性能を顕著に向上させている。

ABSTRACT

Contrastive learning is an approach to representation learning that utilizes naturally occurring similar and dissimilar pairs of data points to find useful embeddings of data. In the context of document classification under topic modeling assumptions, we prove that contrastive learning is capable of recovering a representation of documents that reveals their underlying topic posterior information to linear models. We apply this procedure in a semi-supervised setup and demonstrate empirically that linear classifiers with these representations perform well in document classification tasks with very few training examples.

研究の動機と目的

• 対照的学習がドキュメント表現における潜在的なトピック事後分布の情報を回復できるかどうかを調査すること。
• 低リソースな半教師あり学習設定において、対照的表現に適用した線形分類器の有効性を評価すること。
• モデル容量および学習データサイズがトピック回復性能に与える影響を分析すること。
• 対照的学習とトピックモデルにおける事後分布推論との間の理論的・実験的つながりを確立すること。

提案手法

• 実際のドキュメントをポジティブとして、混合ドキュメント断片をネガティブとして、対照的学習のペアを構築する。
• ポジティブペアとネガティブペアを区別する損失関数を用いて、表現空間における分離を促進するように、対照的モデルを訓練する。
• 共有重みを有する2ブランチのニューラルネットワークアーキテクチャを用いて、ドキュメントを潜在空間に埋め込む。
• トピックモデルから抽出した1,000件のサンプルドキュメントを用いたランドマークベースの近似により、ドキュメント埋め込みを生成する。
• 学習済み埋め込みと尤度行列を用いて、モデルベースの事後分布を再構築し、トピック分布を推定する。
• 対照的表現に線形分類器を訓練し、下流のトピック予測タスクでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、線形モデルが正確な分類を可能にするのに十分なトピック事後分布の情報を回復できるか？
• RQ2 モデル容量は、対照的表現におけるトピック回復の質にどのように影響するか？
• RQ3 ラベルなし学習コーパスのサイズは、トピック予測精度にどのように影響するか？
• RQ4 対照的学習は、非常に少ないラベル付き例での有効な半教師ありドキュメント分類を可能にするか？

主な発見

• 対照的表現により、線形分類器は、特にラベル付きデータが乏しい状況でも、高い精度でトピック予測が可能になる。
• ディリクレ事前分布のハイパーパrameter α が大きくなる（トピックが類似するようになる）と性能が低下するが、モデル容量や学習データサイズを増加させることでこれを緩和できる。
• 対照的学習セットのリサンプリングレートを600Kから600万に増加させることで、すべての設定でトピック回復精度が向上した。
• より大きなモデル（1層あたり512ノード）は、より小さなモデル（1層あたり256ノード）よりも優れた性能を示し、特にα値が高い場合に顕著だった。これは、モデル容量が表現品質を向上させることを示している。
• 本手法は、最小限のラベル付きデータでも強力な性能を発揮し、半教師あり設定における実用性を確認した。
• αが大きくなるにつれて、トピック間の平均全変動距離が増加し、トピックの分離が難しくなることが確認された。