[論文レビュー] Scalable Semi-Supervised Aggregation of Classifiers

Akshay Balsubramani, Yoav Freund|arXiv (Cornell University)|Jun 18, 2015

Machine Learning and Data Classification参考文献 21被引用数 11

ひとこと要約

この論文では、worst-case game-theoreticフレームワークを用いてラベルなしデータを活用することで、ランダムフォレストの性能を向上させるスケーラブルな半教師あり集約手法HedgeClipperを提案する。分類器の予測を専門家（specialists）としてモデル化し、凸最適化により重みを最適化することで、ハイパーパrameterを導入せず、アンサンブルの構造に関する仮定も必要としない。特にラベル付きデータが限られた状況で顕著な精度向上を達成する。

ABSTRACT

We present and empirically evaluate an efficient algorithm that learns to aggregate the predictions of an ensemble of binary classifiers. The algorithm uses the structure of the ensemble predictions on unlabeled data to yield significant performance improvements. It does this without making assumptions on the structure or origin of the ensemble, without parameters, and as scalably as linear learning. We empirically demonstrate these performance gains with random forests.

研究の動機と目的

• ラベル付きデータが限られる状況において、アンサンブル分類器の性能を向上させる挑戦に取り組み、アンサンブルの構造に関する仮定を一切設けずにラベルなしデータを統合する。
• スケーラブルでパrameter-freeな集約手法を開発し、ラベルなし例における予測の一貫性を活用して分類器の重みを精緻化する。
• transductive学習と半教師あり学習を、worst-case game-theoretic原則をアンサンブル集約に適用することで統合し、ロバスト性と安全性を保証する。
• 半教師ありアンサンブル学習の実用的導入を可能にするために、学習段階をスケーラブルな凸最適化に、テスト段階を線形予測に簡素化する。
• 分類器の予測の多様性—特にラベルなしデータの構造と組み合わせた場合—が、標準の多数決投票を上回る性能向上をもたらすことを示す。

提案手法

• 予測子と敵対者との間のゼロサムゲームとしてアンサンブル集約を定式化し、予測子が最悪ケース誤差を最小化するように分類器の重みを選択する。
• 局所的な予測行動をモデル化するため、データの部分集合でのみ予測を行う「専門家（specialists）」を導入する。
• ラベルなしデータにおける予測パターンに基づいて、ランダムフォレストの木から人工的専門家を構築し、局所的構造を保持する。
• ミニマックス解から導出された凸最適化問題を用いて分類器の重みを最適化し、スケーラビリティと並列処理の可能性を確保する。
• ラベルなしデータの一貫性と個々の分類器の誤差境界から導かれる制約を満たすために、クリッピングを施したHedgeアルゴリズムを適用する。
• 最終的な集約予測子が、アンサンブル内に存在する最良の個々の分類器の性能を下回ることはないことを保証する（安全な境界）。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況で、ラベルなしデータを有効に活用することで、ランダムフォレストのようなアンサンブル分類器の性能を顕著に向上させることができるか？
• RQ2 ラベルなし例における予測の構造を活用して分類器の重みを精緻化する方法は何か？ その際、基本モデルに関する仮定を一切設けない。
• RQ3 パrameter-freeでスケーラブルな集約手法は、標準の多数決投票を上回る性能を発揮できるか？ また、理論的保証を維持できるか？
• RQ4 基本分類器間の予測多様性とラベルなしデータ構造の相互作用が、一般化性能をどの程度向上させるか？
• RQ5 worst-case game-theoreticフレームワークは、実世界のデータセットにおいても、効率的かつ効果的にロバストで安全な集約を可能にするか？

主な発見

• ラベル付き例が少ないデータセット（例：10例）では、HedgeClipperは標準のランダムフォレストを一貫して上回り、kagg-protではAUC 0.714を達成したのに対し、ランダムフォレストは0.665であった。
• 10万ラベル付き例を有するSUSYデータセットでは、HedgeClipperはAUC 0.799を達成し、最良のベースライン（0.797）をわずかに上回り、大規模スケールでも優れた性能を示した。
• 1万ラベル付き例を有するwebspam-uniデータセットでは、HedgeClipperはAUC 0.967を達成し、次善の手法（0.970）を上回り、高次元テキストデータにおいて優れた一般化性能を示した。
• 特にラベル付きデータが少ない環境（例：10例）で顕著な向上を示し、ラベルなし構造の有効活用のおかげで性能向上が顕著に現れた。
• アンサンブルの多様性が高い場合に性能向上が顕著に現れ、特徴量分割が限られた低次元のトイデータセットでは改善が最小限にとどまり、予測多様性の役割を裏付けた。
• HedgeClipperは安全な境界を維持している：理論的枠組みにより、その精度がアンサンブル内に存在する最良の個々の分類器の精度を下回ることはないことが保証されている。