[論文レビュー] Anchored Discrete Factor Analysis

Yoni Halpern, Steven Horng+1 more|arXiv (Cornell University)|Nov 10, 2015

Machine Learning and Data Classification参考文献 32被引用数 5

ひとこと要約

本稿では、任意の潜在変数依存関係を有する構造的離散因子モデルを学習するための半教師あり手法である Anchored Discrete Factor Analysis (ADFA) を提案する。ユーザーが指定するアンカーバリエーブル（唯一の潜在親を持つ観測変数）を活用することで、方法のモーメントを一貫して多項式時間で回復でき、潜在モーメントおよびモデルパラメータの推定が可能となり、実世界のタグ予測および医療診断タスクにおいて判別的ベースラインを上回る性能を発揮する。

ABSTRACT

We present a semi-supervised learning algorithm for learning discrete factor analysis models with arbitrary structure on the latent variables. Our algorithm assumes that every latent variable has an "anchor", an observed variable with only that latent variable as its parent. Given such anchors, we show that it is possible to consistently recover moments of the latent variables and use these moments to learn complete models. We also introduce a new technique for improving the robustness of method-of-moment algorithms by optimizing over the marginal polytope or its relaxations. We evaluate our algorithm using two real-world tasks, tag prediction on questions from the Stack Overflow website and medical diagnosis in an emergency department.

研究の動機と目的

• 未観測の交絡要因が存在する状況において、解釈可能で同定可能な潜在変数モデルを学習する課題に対処すること。
• 従来の離散因子分析における潜在変数モデルの同定不能性および計算的に困難な問題を克服すること。
• ネットワーク構造に関する事前知識がなくとも、潜在変数の構造学習を可能にすること。これは、実世界の応用における主要な制限要因である。
• 潜在的分布のマージナルポリトープ上での制約付き最適化を用いることで、モデル誤指定下における方法のモーメント推定のロバスト性を向上させること。
• 実世界のデータセットにおいて、独立した潜在変数モデルに比べ、構造的潜在表現が予測性能を向上させることを示すこと。

提案手法

• 潜在親が唯一つである観測変数（アンカーバリエーブル）の概念を導入し、潜在変数のモーメントの一貫性回復を可能にする。
• 2段階の方法のモーメントアプローチを採用：まずアンカーオブザーバーションから潜在変数の低次のモーメントを回復し、その後で結合潜在構造を再構築する。
• モデル誤指定下におけるモーメント推定のロバスト性を向上させるために、マージナルポリトープ（またはその緩和）上での制約付き最適化を適用する。
• 回復されたモーメントから潜在依存関係を効率的に回復できる木構造の潜在モデル学習アルゴリズムを採用する。
• アンカーベースのモーメント推定とEMに基づく最適化を組み合わせて尤度最大化を実現するが、その refinement が解釈可能性を損なう可能性があることを示している。
• 単体制約およびマージナルポリトープの外部近似を用いて、モーメント推定を厳密にし、ノイズへの感受性を低減する。

実験結果

リサーチクエスチョン

• RQ1 観測データとアンカーバリエーブルのみを用いて、任意の潜在変数依存関係を持つ離散因子分析モデルの構造とパラメータを一貫して回復できるか？
• RQ2 マージナルポリトープへの制約を課すことで、モデル誤指定下における方法のモーメント推定のロバスト性はどのように向上するか？
• RQ3 潜在変数の構造的表現を学習することは、実世界のタスクにおいて独立した潜在変数モデルに比べ、より優れた予測性能をもたらすか？
• RQ4 尤度ベースの最適化（例：EM）は、アンカーベースの方法のモーメント初期化から出発して、性能をどの程度向上させるか。また、解釈可能性は保持されるか？
• RQ5 アンカーベース手法は、最大尤度推定と同等の性能を達成しつつ、計算的に効率的かつ解釈可能であると期待できるか？

主な発見

• ADFAアルゴリズムは、アンカーオブザーバーションのみを用いて、二値潜在変数間の任意の依存関係を持つ構造的潜在変数モデルを効果的に学習した。
• Stack Overflowデータセットでは、木構造のADFAモデルが、独立した潜在変数モデルおよび判別的ベースラインを顕著に上回るタグ予測精度を達成した。
• 救急部門データセットでは、高い情報量を持つアンカーバリエーブルのおかげで、性能が高く維持されたが、さらなる向上は限定的であった。これは、アンカーバリエーブルが知識発見に極めて有効であることを示唆している。
• ADFA初期化から出発する尤度ベースの最適化（EM）は分類精度を低下させた。これは、尤度最大化が潜在変数の意味的解釈を歪めることを示している。
• 『頭痛』アンカーバリエーブルに関連する潜在変数は、EM最適化の過程で意味を変化させ、臨床的症状ではなく長距離否定のスコープに関連するものに変わった。これは解釈可能性の喪失を示している。
• マージナルポリトープ上での最適化制約は、潜在分布の密度推定を改善したが、予測精度の向上にはつながらなかった。これは、モデル適合度とタスク性能の間にはトレードオフがある可能性を示唆している。