[論文レビュー] Exploratory Learning

Bhavana Dalvi, William W. Cohen+1 more|arXiv (Cornell University)|Jul 1, 2013

Bayesian Methods and Mixture Models参考文献 25被引用数 3

ひとこと要約

本論文では、クラス数が事前に不明な状況において、トレーニング中に動的に新しいクラスを導入する、新しい半教師あり学習フレームワーク「Exploratory EM」を提案する。後方確率分布がほぼ一様である難易度の高い分類不能なインスタンスを検出し、それらを新しいクラスに割り当てることで、既知のクラスにおけるF1スコアが著しく向上し、Reutersでは最大200%の向上を達成。従来のSSL手法や非パrametric Bayesianクラスタリング手法を上回る性能を示す。

ABSTRACT

In multiclass semi-supervised learning (SSL), it is sometimes the case that the number of classes present in the data is not known, and hence no labeled examples are provided for some classes. In this paper we present variants of well-known semi-supervised multiclass learning methods that are robust when the data contains an unknown number of classes. In particular, we present an “exploratory” extension of expectation-maximization (EM) that explores different numbers of classes while learning. “Exploratory” SSL greatly improves performance on three datasets in terms of F1 on the classes <em>with</em> seed examples—i.e., the classes which are expected to be in the data. Our Exploratory EM algorithm also outperforms a SSL method based non-parametric Bayesian clustering.

研究の動機と目的

• 従来の半教師あり学習（SSL）手法が事前にすべてのクラスを既知としているという制限を克服すること。特に、データ内に予期しないクラスが存在する場合に有効であるようにする。
• シード例が一部のクラスにしか提供されていない状況において、未知クラスの影響を受けて性能が低下する既知クラスのSSL性能を向上させること。
• 事前にクラス総数を知らなくても、トレーニング中に新しいクラスを発見できる、堅牢で適応的な学習フレームワークを構築すること。
• 多クラス分類タスクにおいて、精度と効率の両面で、既存の非パrametric Bayesianクラスタリング手法および固定混合モデルベースのSSLベースラインを上回ること。

提案手法

• EMアルゴリズムの探索的拡張を導入し、クラス数を事前に固定せず、各Eステップで新しいクラス（C_{k+1}からC_m）を生成可能にする。
• 後方確率分布がほぼ一様である例（分類が困難な例）を検出するためのヒューリスティック基準を用い、それらを新しいクラスに割り当てる。
• 代表的な3つのSSL手法に本フレームワークを適用：半教師ありナイーブベイズ、シード付きK-Means、およびシード付きvon Mises-Fisher混合分布。
• 各潜在的クラス生成後に尤度の改善を評価するモデル選択戦略を採用し、新しいクラスの採用を決定する。
• 中国レストラン過程（CRP）を用いたギブスサンプリングによる非パrametric Bayesianベースラインと比較する。
• 同様のヒューリスティックを用いたクラスタ生成を行う変種「Explore-KMeans」を実装し、強力なベースラインとしての性能を示す。

実験結果

リサーチクエスチョン

• RQ1 予期しないクラスが存在するが、それらを考慮しない場合、標準的な半教師あり学習手法の性能はどの程度劣化するか？
• RQ2 EMトレーニング中に動的に新しいクラスを導入することで、シード例が提供された既知クラスの分類精度は向上するか？
• RQ3 後方確率がほぼ一様なインスタンスを検出するためのヒューリスティック基準は、ランダムまたは一様なクラス生成と比較して、有効性と効率の面で優れているか？
• RQ4 非パrametric Bayesianクラスタリング（例：CRPベースのギブスサンプリング）と比較して、Exploratory EMは未知クラスの発見および既知クラスの性能向上の両面で優れているか？
• RQ5 提案手法は、高精度を維持しながら、コンactかつ近似的に最適な数のクラスタを生成できるか？

主な発見

• Exploratory EMは、従来のSSL手法と比較して、既知のクラスにおけるF1スコアを著しく向上させた。特に、Delicious Sportsデータセットでは90%の向上、20-Newsgroupsでは27%、Reutersでは200%の向上を達成した。
• 後方確率分布がほぼ一様なインスタンスに焦点を当てたヒューリスティックベースのクラス生成戦略は、ランダムまたは一様なクラス生成よりも有効である。
• 本フレームワークの変種であるExplore-KMeansは、CRPベースのクラスタリング手法よりも精度と速度の両面で優れていたが、CRPのパラメータが微調整されていない限り、その差は顕著であった。
• シード例が一部のクラスにしか与えられていない状況において、本フレームワークは従来のEMベースのSSLよりも堅牢である。未知クラスのインスタンスが誤って既知クラスに分類される「意味的ドリフト」を防げるためである。
• 本手法は、リアルタイムで新しいクラスタを発見でき、CRPベースラインと比較して真のクラスタ数に近いモデルを生成した。
• 本フレームワークは、名詞句分類やドキュメント分類タスクを含む多様なデータセットにおいて、優れた一般化性能を示した。