[論文レビュー] Semi-Supervised Learning -- A Statistical Physics Approach

Gad Getz, Noam Shental+1 more|ArXiv.org|Apr 5, 2006

Neural Networks and Applications参考文献 24被引用数 28

ひとこと要約

本稿では、統計力学に基づく半教師付き学習手法を提案する。この手法は、マルチキャンディカル・マルコフ連鎖モンテカルロ（MCMC）を用いて、分類のボルツマン分布からのサンプリングを実行し、最小エネルギー（MAP）解ではなく、解の全分布を考慮することで、ロバストで確率的な分類を可能にする。このアプローチは、遺伝子発現データセットにおいて、従来のエネルギー最小化手法を上回り、誤分類率が低く、曇ったクラスタ境界の扱いが優れている。

ABSTRACT

We present a novel approach to semi-supervised learning which is based on statistical physics. Most of the former work in the field of semi-supervised learning classifies the points by minimizing a certain energy function, which corresponds to a minimal k-way cut solution. In contrast to these methods, we estimate the distribution of classifications, instead of the sole minimal k-way cut, which yields more accurate and robust results. Our approach may be applied to all energy functions used for semi-supervised learning. The method is based on sampling using a Multicanonical Markov chain Monte-Carlo algorithm, and has a straightforward probabilistic interpretation, which allows for soft assignments of points to classes, and also to cope with yet unseen class types. The suggested approach is demonstrated on a toy data set and on two real-life data sets of gene expression.

研究の動機と目的

• 最小エネルギー解の脆さ（データの揺らぎに敏感で、誤った密度特徴によって誤分類を引き起こす可能性がある）を是正すること。
• 可能な分類の全分布を推定する手法を開発し、ソフトアサインメントとノイズおよび小規模ラベル集合に対するロバスト性を実現すること。
• 半教師付き学習で用いられる任意のエネルギー関数に適用可能な一般化されたフレームワークを提供すること。従来の最小化ベースの手法を改善すること。
• ラベルデータが乏しく、クラスタ境界が曇っている現実の遺伝子発現データセットにおいて、本手法の優位性を示すこと。

提案手法

• 本手法は、分類のボルツマン分布 Pr(classification; T) ∝ exp(−E(classification)/T) からの効率的サンプリングを、マルチキャンディカル・マルコフ連鎖モンテカルロ（MCMC）アルゴリズムを用いて実現する。
• 温度パrameter T > 0 の範囲にわたりサンプリングを行い、T = 0（MAP推定）のNP困難な領域を避ける。これにより、複数の低エネルギー構成の探索が可能になる。
• すべての可能なラベル割り当てに対して確率を割り当てることで、ソフト予測が可能となり、確率的推論による未観測クラスタイプの処理が可能になる。
• エネルギー関数 E(classification) は、min-cut、正規化cut、二次コストなど、標準的な半教師付きコスト関数であれば何でも使用可能であり、本手法の適用範囲は広い。
• 合成および生物学的データで観察されるように、真の分類がモードの間にある、またはノイズのフィラメントによって分割されている場合にも自然に処理できる。
• MCMCによるサンプリングで分配関数を推定し、モードではなく、ラベル割り当て全体の事後分布の推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ラベル割り当ての全ボルツマン分布からのサンプリングは、単一のエネルギー関数最小化と比較して分類のロバスト性を向上させるか？
• RQ2 ラベル点が少なく、クラスタ構造が曇っている現実の遺伝子発現データに対して、本手法はどのように性能を発揮するか？
• RQ3 解の全分布が単一の最小エネルギー解よりも情報量が多い状況はどのようなものか？
• RQ4 多クラス遺伝子発現分類タスクにおいて、本手法は標準的なグラフカットおよびスペクトルトランスダーサー手法を上回るか？
• RQ5 本手法は、ラベルデータに存在しないレアクラスや新規クラスタイプを検出し、正しく分類できるか？

主な発見

• 2つの近接したモードとそれらをつなぐフィラメントを持つ合成データセットにおいて、本手法はすべての未ラベル点を正しく分類したが、min-cutおよびスペクトルトランスダーサー手法はフィラメントに起因する誤分類により失敗した。
• 57サンプル、17ラベル点を有する白血病遺伝子発現データセットにおいて、q=2の場合、本手法は誤分類がゼロであった。グラフカットや他の手法を上回った。
• 同じデータセットにおいて、本手法は100%の確率でMLL（まれなクラス）の存在を正しく予測したが、グラフカットは17個すべてのMLL点を誤分類した。
• 535のテスト遺伝子と77の既知のラベルを有するイースト細胞周期データセットにおいて、本手法は遺伝子を正しい細胞周期フェーズに分類する成功率が32%であった。一方、グラフカットは20%であった。
• 白血病データセットにおいて20–40%のケースで、本手法はラベル点を一切使用しなくてもグラフカットと同等またはそれ以上の性能を示した。これは、ラベル品質に依存しないロバスト性を示している。
• 本手法は、エネルギー最小化アプローチが誤解を招くノイズ由来のアーティファクト（フィラメントやクラックなど）を効果的に処理し、曇ったクラスタ境界の扱いにおいて優れた性能を示した。