[論文レビュー] Unsupervised Ensemble Learning with Dependent Classifiers

Ariel Jaffe, Ethan Fetaya+3 more|arXiv (Cornell University)|Oct 20, 2015

Anomaly Detection Techniques and Applications参考文献 17被引用数 5

ひとこと要約

本稿では、潜在変数構造を用いて分類器間の依存関係をモデル化する、未学習のアンサンブル学習フレームワークを提案する。この手法により、分類器が強く依存している場合でも、正確なメタラーナーの構築が可能になる。L-SMLは、依存する分類器のグループを検出するとともに、精度推定を改善し、合成データおよびDREAMチャレンジを含む実世界のデータセットにおいて、従来の最先端手法、特に条件付き独立性を仮定する手法よりも顕著に低いバランス誤差を達成する。

ABSTRACT

In unsupervised ensemble learning, one obtains predictions from multiple sources or classifiers, yet without knowing the reliability and expertise of each source, and with no labeled data to assess it. The task is to combine these possibly conflicting predictions into an accurate meta-learner. Most works to date assumed perfect diversity between the different sources, a property known as conditional independence. In realistic scenarios, however, this assumption is often violated, and ensemble learners based on it can be severely sub-optimal. The key challenges we address in this paper are:\ (i) how to detect, in an unsupervised manner, strong violations of conditional independence; and (ii) construct a suitable meta-learner. To this end we introduce a statistical model that allows for dependencies between classifiers. Our main contributions are the development of novel unsupervised methods to detect strongly dependent classifiers, better estimate their accuracies, and construct an improved meta-learner. Using both artificial and real datasets, we showcase the importance of taking classifier dependencies into account and the competitive performance of our approach.

研究の動機と目的

• 既存の未学習アンサンブル学習手法が分類器間の条件付き独立性を仮定しているという限界に対処すること。この仮定は、実世界の応用ではしばしば破られる。
• 分類器間の条件付き独立性の強い違反を、その予測結果のみを用いて、未学習で検出すること。
• ラベルなしデータを用いても、分類器の依存関係を考慮した堅牢なメタラーナーを構築し、予測精度を向上させること。
• 実世界のデータセット（DREAM体細胞突然変異チャレンジを含む）を用いて、分類器の依存関係がアンサンブル性能に与える実用的影響を示すこと。

提案手法

• 分類器間の依存関係を捉えるために中間層の潜在変数を導入した統計的モデルを提案し、DawidとSkeneのモデルを一般化する。
• 2つの予測一致度のスコア行列から得られるものを用いて、ペairwise予測一致度に基づくスペクトルクラスタリング手法を導入し、強く依存する分類器のサブセットを検出する。
• 新しい依存モデル下での分類器の精度とグループ所属の推定を目的とした、修正版期待最大化（EM）手続きを開発する。
• スパarsなメタラーナー設定において、検出された各グループから最も良い分類器を選択するグループ別投票戦略を適用し、多様性と性能を向上させる。
• 弱い依存性に対してソフトな事前分布を導入し、ノイズが多いまたは弱く依存する分類器が存在する状況でも推定の安定性と耐性を向上させる。
• 2つの予測一致度から得られるスコア行列を用いて、構造的依存関係を検出し、モデルクラスタリングを支援する。

実験結果

リサーチクエスチョン

• RQ1 分類器間の条件付き独立性の強い違反を、その予測結果のみを用いて未学習で検出できるか？
• RQ2 分類器の依存関係は、条件付き独立性を仮定する標準的な未学習アンサンブルラーナーの性能にどのように影響を与えるか？
• RQ3 分類器間の依存関係を明示的にモデル化することで、より正確なメタラーナーを構築できるか？
• RQ4 分類器のグループ構造は、実世界の応用における未学習アンサンブル学習の精度にどのような影響を与えるか？

主な発見

• DREAMチャレンジS3データセットにおいて、L-SMLは競合するメタラーナーと比較してバランス誤差を20%以上低減し、依存関係のモデル化による顕著な性能向上を示した。
• スパarsなメタラーナー設定（チャレンジII）において、L-SMLはS3でバランス誤差2.5を達成し、条件付き独立性を仮定するオラクル分類器と同等の性能を示したが、投票法やSMLベースの手法を上回った。
• UCI Magicデータセットでは、L-SMLは標準的なSMLおよび条件付き独立性を仮定するオラクル分類器でさえも大きく上回り、依存関係モデル化の利点を確認した。
• 模擬データおよび実データの両方で、L-SMLは強く依存する分類器のグループを正しく同定した。これは、付録の条件付き共分散行列および割り当て結果から裏付けられた。
• L-SMLの性能低下は、モデル構造の推定に失敗した場合にのみ観察された。これは、構造の正確さが成功の鍵であることを示している。
• L-SMLは、DREAMチャレンジのS1、S2、S3を含む、テストしたすべてのデータセットで最小のバランス誤差を達成し、その堅牢性と優位性を確認した。