[論文レビュー] Toward a general, scaleable framework for Bayesian teaching with applications to topic models

Baxter Eaves, Patrick Shafto|arXiv (Cornell University)|May 25, 2016

Topic Modeling参考文献 13被引用数 4

ひとこと要約

本稿では、偽マージナル法と重要度サンプリングを用いて、確率的学習者向けの最適な教育データを近似する一般化可能でスケーラブルなベイジアン教育フレームワークを提案する。トピックモデルを用いた映画あらすじへの応用において、特に小規模データセット下で顕著な学習効率の向上が示され、ランダムサンプリングに比べて、目標仮説への推論をより的確に誘導するデータ選択が可能であることが実証された。

ABSTRACT

Machines, not humans, are the world's dominant knowledge accumulators but humans remain the dominant decision makers. Interpreting and disseminating the knowledge accumulated by machines requires expertise, time, and is prone to failure. The problem of how best to convey accumulated knowledge from computers to humans is a critical bottleneck in the broader application of machine learning. We propose an approach based on human teaching where the problem is formalized as selecting a small subset of the data that will, with high probability, lead the human user to the correct inference. This approach, though successful for modeling human learning in simple laboratory experiments, has failed to achieve broader relevance due to challenges in formulating general and scalable algorithms. We propose general-purpose teaching via pseudo-marginal sampling and demonstrate the algorithm by teaching topic models. Simulation results show our sampling-based approach: effectively approximates the probability where ground-truth is possible via enumeration, results in data that are markedly different from those expected by random sampling, and speeds learning especially for small amounts of data. Application to movie synopsis data illustrates differences between teaching and random sampling for teaching distributions and specific topics, and demonstrates gains in scalability and applicability to real-world problems.

研究の動機と目的

• 機械学習におけるボトル neck を解消するため、マシンが蓄積した知識を解釈する必要がある専門家的人類の負担を軽減すること。
• 確率的学習者を正しい推論へ導くために最適なデータを選択する、汎用的でスケーラブルな教育フレームワークを開発すること。
• 従来の教育手法がドメイン特異的であるか、現実の問題に対して計算的に非実行可能であるという制限を克服すること。
• サンプリングに基づく手法によるベイジアン正規化定数の近似により、トピックモデルの効果的教育を可能にすること。
• 実世界のデータ（IMDbの上位1000作品の映画あらすじなど）を用いて、スケーラビリティと有効性を実証すること。

提案手法

• フレームワークは、ベイジアン教育における重要な要素たる周辺尤度を近似するために偽マージナルサンプリングを用いる。これにより、学習者の後方分布のシミュレーションが可能になる。
• 教える確率（あるデータポイントが学習者に目標仮説へ到達させる可能性を定量化する指標）を効率的に推定するために重要度サンプリングを採用する。
• 学習者が正しい仮説を推論する確率を最適化する形で教育を定式化し、尤度と周辺尤度の比を教育目的関数として用いる。
• トピックモデルでは、潜在的トピック割り当ての統合と、必要に応じた非目標トピックの周辺化により、文書レベルのデータに対して教える確率を計算する。
• 目標トピックのインジケータ関数を尤度項に組み込むことで、分布全体や特定トピックのサブセットに対する教育を可能にする。
• 検索空間を縮小するために、目標トピック分布との類似度が高い文書を優先するためのヒューリスティックとしてコサイン距離を用いる。

実験結果

リサーチクエスチョン

• RQ1 汎用的でスケーラブルかつ多様な確率的モデルに有効な教育フレームワークを開発できるか？
• RQ2 正確な列挙と比較して、サンプリングに基づく近似による教育は、正確性と効率性の面でどのように異なるか？
• RQ3 教育によって選ばれたデータとランダムに選ばれたデータは、推論を誘導する能力においてどの程度異なるか？
• RQ4 特にデータが限られた状況下でも、LDAのような複雑なモデルの特定トピックを効果的に教育できるか？
• RQ5 教える確率と、目標トピックへのコサイン距離といった単純なヒューリスティックとの相関はどの程度か？

主な発見

• 列挙が可能な場合に、サンプリングに基づく教育フレームワークは真の教える確率を効果的に近似でき、その正確性が検証された。
• 教育用データはランダムサンプルとは著しく異なり、目標に関連する複数のトピックやキーワードを的確に反映した文書の戦略的選択がなされていることが明らかになった。
• 特に少数の例での学習が顕著に高速化され、低データ環境下での本手法の効率性が実証された。
• 全トピックモデルにおける最適な教育あらすじ、「Brokeback Mountain」は、通常のあらすじよりも長く、多様なトピックを代表する内容となっており、理論的期待に合致している。
• 「戦争」トピックの教育においては、「Apocalypse Now」が最適な教育文書として特定されたが、これはデータ尤度の観点からは最も確率の高い選択とはならなかった。このことは、本手法が紛らわしい代替案を避ける能力を有していることを示している。
• 戦争トピックに関しては、コサイン距離と教える確率の間に強い負の相関（r = -0.93, p ≈ 0）が認められ、コサイン距離が高品質な教育データを特定する強力な代理指標であることが示された。