[論文レビュー] Analysis of Semi-Supervised Learning with the Yarowsky Algorithm

Gholam Reza Haffari, Anoop Sarkar|arXiv (Cornell University)|Jun 20, 2012

Neural Networks and Applications参考文献 5被引用数 23

ひとこと要約

この論文は、半教師あり学習のためのYarowskyアルゴリズムについて、Bregman散発に基づく新たな交差エントロピーを定義することで、厳密な数学的分析を提供する。この新しい交差エントロピーの上界を最適化することが、Yarowskyアルゴリズムの目的であることが示されている。Abneyの研究を拡張し、アルゴリズムを調和関数および最小マルチウェイグラフカットに関連付ける。情報幾何に基づく理論的根拠を持つ、新たなルールベースの学習手法を提案する。

ABSTRACT

The Yarowsky algorithm is a rule-based semi-supervised learning algorithm that has been successfully applied to some problems in computational linguistics. The algorithm was not mathematically well understood until (Abney 2004) which analyzed some specific variants of the algorithm, and also proposed some new algorithms for bootstrapping. In this paper, we extend Abney's work and show that some of his proposed algorithms actually optimize (an upper-bound on) an objective function based on a new definition of cross-entropy which is based on a particular instantiation of the Bregman distance between probability distributions. Moreover, we suggest some new algorithms for rule-based semi-supervised learning and show connections with harmonic functions and minimum multi-way cuts in graph-based semi-supervised learning.

研究の動機と目的

• Yarowskyアルゴリズムの形式的数学的理解を提供すること。これは、これまで理論的根拠が欠けていた。
• Abney (2004)の分析を拡張し、特定のYarowskyの変種が新たな交差エントロピー測度の上界を最適化することを示すこと。
• ルールベースの半教師あり学習を、調和関数および最小マルチウェイカットを介してグラフベースの手法と結びつけること。
• 理論的根拠を持つ、新たなルールベースの半教師あり学習アルゴリズムを提案すること。
• 情報幾何（Bregman散発）とNLP分野における実用的半教師あり学習の間の橋渡しをすること。

提案手法

• 著者らは、確率分布間のBregman散発の特定のインスタンスに基づいて、新たな交差エントロピー測度を定義する。
• Yarowskyアルゴリズムが、この新しい交差エントロピー目的関数の上界を実際に最小化することを示す。
• Yarowskyにおける反復的ラベル伝播を、ノード間を滑らかにラベルが伝わるグラフ上の調和関数に類似したものと結びつける。
• ラベル伝播をグラフベースのエネルギー関数の最小化と解釈することで、アルゴリズムを最小マルチウェイグラフカットに関連付ける。
• 反復的精錬と信頼度しきい値を用いる理論的枠組みに基づいて、新たなルールベースの学習アルゴリズムを提案する。
• 理論的分析には、情報幾何およびグラフ理論の道具が用いられ、収束性および最適性の性質を正当化する。

実験結果

リサーチクエスチョン

• RQ1 Yarowskyアルゴリズムは、情報理論的原則を用いてどのように形式的に正当化できるか？
• RQ2 Yarowskyアルゴリズムが実際に最適化する目的関数は何か？ そして、交差エントロピーとどのように関係しているか？
• RQ3 Yarowskyアルゴリズムは、調和関数や最小カットのようなグラフベースの半教師あり学習手法と結びつけることができるか？
• RQ4 この理論的枠組みから、どのような新たなルールベースの学習アルゴリズムを導出できるか？
• RQ5 Bregman散発の使用は、半教師あり学習におけるラベル伝播の理解をどのように向上させるか？

主な発見

• Yarowskyアルゴリズムは、Bregman散発から導出された新たな交差エントロピー測度の上界を最適化する。
• 提案された交差エントロピーは情報幾何に根ざしており、アルゴリズムの挙動に対する原則的解釈を提供する。
• アルゴリズムのラベル伝播メカニズムは、数学的にグラフ上の調和関数問題を解くことと同等である。
• 特定の条件下で、この手法はマルチウェイグラフカットエネルギー関数の最小化と同等であることが示された。
• 新たなルールベースのアルゴリズムが導出され、同じ枠組みを通じて理論的根拠が与えられた。
• 理論的分析により、以前のYarowskyアルゴリズムの適用における曖昧さが解消され、今後の拡張の基盤が整った。