[論文レビュー] Estimation from Indirect Supervision with Linear Moments

Aditi Raghunathan, Roy Frostig+2 more|arXiv (Cornell University)|Aug 10, 2016

Stochastic Gradient Optimization Techniques参考文献 36被引用数 6

ひとこと要約

本稿では、非凸最適化と扱いにくい推論を回避するために線形モーメントを活用することで、間接的教師あり条件下における構造予測の計算効率の良い手法を提案する。問題をノイズのある線形システムを解くことで十分統計量を推定し、その後凸最適化を行うことで、プライバシー保護学習や低コストのアノテーション設定において優れた性能を達成する。

ABSTRACT

In structured prediction problems where we have indirect supervision of the output, maximum marginal likelihood faces two computational obstacles: non-convexity of the objective and intractability of even a single gradient computation. In this paper, we bypass both obstacles for a class of what we call linear indirectly-supervised problems. Our approach is simple: we solve a linear system to estimate sufficient statistics of the model, which we then use to estimate parameters via convex optimization. We analyze the statistical properties of our approach and show empirically that it is effective in two settings: learning with local privacy constraints and learning from low-cost count-based annotations.

研究の動機と目的

• 完全なラベルが入手不可な間接的教師あり条件下における構造予測の計算的課題に対処すること。標準の尤度ベース手法は非凸性と扱いにくい推論に直面する。
• 潜在変数モデルにおける最大周辺尤度推定において、非凸最適化と扱いにくい勾配計算という二重の障壁を克服すること。
• 特定の問題クラスにおいて、間接的教師あり条件下の線形構造を活用することで、最大周辺尤度の代替として実行可能な手法を開発すること。
• 直接的教師あり学習がコスト高または不可能な状況において、局所的プライバシー制約や軽量なカウントベースアノテーション下での効率的学習を可能にすること。
• 統計的妥当性のトレードオフを伴いながらも、線形システムと凸最適化によるモーメントベース推定が、実験的に優れた性能を示すことを示すこと。

提案手法

• パrameter化された十分統計量を用いた条件付き指数型分布族で構造予測問題を定式化する。
• 間接的教師ありを、モデルの十分統計量の既知の線形変換として表現し、ノイズのある線形システムを解くことで回復を可能にする。
• 線形代数を用いて集約された間接的観測から十分統計量を推定し、個々の例に対する推論を回避する。
• 回復された十分統計量を凸最適化問題の入力として用い、モデルパラメータを推定することで、グローバル収束を保証する。
• 非凸尤度最大化やEM法や勾配ベース手法における扱いにくいEステップを回避するため、モーメント法を活用する。
• 監視関数が十分統計量に関して線形である「線形間接的教師あり問題」のクラスを形式化し、提案手法の適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化と扱いにくい推論を回避するために、線形モーメント推定を用いることで、間接的教師あり設定において有効に機能するか？
• RQ2 漸近的分散の観点から、モーメントベース推定器の統計的効率は最大周辺尤度と比べてどの程度か？
• RQ3 提案手法は、プライバシー制約や低コストアノテーションを伴う現実世界の設定において、優れた性能を示せるか？
• RQ4 間接的教師あり条件下において、計算的実行可能性と統計的効率のトレードオフは何か？
• RQ5 入力が相関を持つ場合でも、領域内のラベルカウントに基づく監視が行われる場合に、この手法は依然として有効であるか？

主な発見

• 提案されたモーメントベース推定器は、計算制約のある設定において、訓練の初期段階で高い精度を達成し、特にラベル領域が大きい場合には、初期段階で周辺尤度を上回る性能を示す。
• カウントベースアノテーションを用いた品詞タグ付けの設定では、モーメントベース手法が複数の訓練ステップにわたり周辺尤度を上回り、初期収束が著しく優れていることが示された。
• 局所的微分プライバシー制約下でも、プライバシー機構を十分統計量上の線形制約に変換することで、効率的学習が可能になる。
• ノイズのある線形システムを解くことと凸最適化ステップに問題を還元することで、非凸最適化と扱いにくい推論を回避する。
• 実験的結果から、この手法はプライバシー保護学習および低コストアノテーション設定の両方で有効であることが示され、実用的価値を示している。
• 理論的分析から、モーメントベース推定器は最大周辺尤度に比べて漸近的分散が高くなるが、顕著な計算的利点を有することが明らかになった。