[論文レビュー] Optimal Binary Classifier Aggregation for General Losses

Akshay Balsubramani, Yoav Freund|arXiv (Cornell University)|Oct 1, 2015

Face and Expression Recognition参考文献 14被引用数 3

ひとこと要約

本稿は、一般の損失関数（凸および非凸損失を含む）における半教師あり学習における二値分類器の集合化のためのミニマックス最適フレームワークを提案する。凸最適化を用いて計算される重み付きアンサンブルマージンにシグモイド型関数を適用する意思決定ルールを導出することで、緩和やモデル仮定なしにミニマックス最適性を達成する。

ABSTRACT

We address the problem of aggregating an ensemble of predictors with known loss bounds in a semi-supervised binary classification setting, to minimize prediction loss incurred on the unlabeled data. We find the minimax optimal predictions for a very general class of loss functions including all convex and many non-convex losses, extending a recent analysis of the problem for misclassification error. The result is a family of semi-supervised ensemble aggregation algorithms which are as efficient as linear learning by convex optimization, but are minimax optimal without any relaxations. Their decision rules take a form familiar in decision theory -- applying sigmoid functions to a notion of ensemble margin -- without the assumptions typically made in margin-based learning.

研究の動機と目的

• 従来の研究が誤分類誤差に限定されていた点を克服し、対数損失やコスト加重損失を含む一般損失関数へ拡張すること。
• 予測子と敵対者との間の2人零和ゲームとしてアンサンブル集合化問題を定式化し、最悪ケース最適性を保証すること。
• モデル固有の仮定を必要とせず、凸最適化により最適な分類器重みを学習するスケーラブルで効率的なアルゴリズムを開発すること。
• 特定分類器がデータの部分集合に対して予測を控えるような異種アンサンブルを扱うため、予測カバレッジに基づく制約の再重み付けによりフレームワークを一般化すること。
• 最適予測ルールが損失関数とアンサンブル予測にのみ依存し、任意のハイパーパrameterや緩和なしに理論的保証を確立すること。

提案手法

• 予測子が予測を選択し、敵対者がアンサンブル分類器の性能から導かれる制約内での未知の確率的ラベルを設定するミニマックスゲームとして問題をモデル化する。
• 部分損失関数 ℓ₊(g) と ℓ₋(g) を用いて、ラベルの確率的値 zⱼ ∈ [−1, 1] に基づく期待損失 ℓ(zⱼ, gⱼ) を凸結合として定義する。
• 凸双対性を用いて双対定式化を行い、双対変数 σ ∈ ℝᵖ における凸最適化問題にミニマックス問題を変換する。
• 最適予測 gⱼ* は、重み付きアンサンブルマージンのシグモイド型関数として計算される：gⱼ* = g(σ*ᵀxⱼ)，ここで σ* は正則化された双対目的関数を最小化する。
• σ における L₁ 正則化を導入し、ラベル相関のずれに対処し、正則化パrameter ε のクロスバリデーションを可能にすることでロバストネスを向上させる。
• 特定分類器を扱うため、特徴行列 F を各分類器のカバレッジ重み ρᵢ(xⱼ) に基づいて再重み付けした行列 S に変換することでフレームワークを一般化し、理論的保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 分類誤差を超えて一般損失関数に対してミニマックス最適なアンサンブル集合化ルールを導出可能か？
• RQ2 偽陽性と偽陰性の非対称性や非凸損失関数を含む場合でも、最適性と効率性を維持できるか？
• RQ3 最適予測ルールの構造は、アンサンブルマージンと損失関数の幾何構造の観点からどのように特徴づけられるか？
• RQ4 特定分類器がテスト例の部分集合に対して予測を控える場合、フレームワークをどのように拡張できるか？
• RQ5 緩和やヒューリスティックなチューニングなしに、凸最適化により効率的に実装可能なアルゴリズムが得られるか？

主な発見

• 各テスト例の最適予測は、双対変数 σ* から導かれるアンサンブル予測の線形結合のシグモイド型関数として得られる。
• 損失関数が仮定1（単調な部分損失）を満たす限り、凸性や対称性の仮定なしに、すべての損失関数に対してミニマックス最適性を達成する。
• 双対最適化問題は凸であり、スケーラブルであり、最適重み σ* は損失関数の共役を含む正則化された目的関数の最小化により得られる。
• 各分類器のカバレッジを反映するように特徴行列 S を再重み付けすることで、異種アンサンブル（特定分類器を含む）へ一般化可能であり、理論的保証を維持する。
• 意思決定ルールは損失関数とアンサンブルの予測構造にのみ依存し、自由パラメータやモデル仮定が一切不要である。
• 本手法は、誤分類誤差や適切な損失関数（例：対数損失）に関する先行研究を統一的に包含・一般化し、単一のミニマックスフレームワークに統合する。