[論文レビュー] A Minimax Approach to Supervised Learning

Farzan Farnia, David Tse|arXiv (Cornell University)|Jun 7, 2016

Machine Learning and Algorithms参考文献 32被引用数 38

ひとこと要約

本稿では、経験的データ分布を中心とする分布の集合上での最悪ケース期待損失を最小化するミニマックスアプローチを、最大エントロピーの原則の一般化として導入する。0-1損失の場合、新しい線形分類器である最大エントロピーマシン（MEM）を導出する。MEMは、複数のUCIデータセットおよび高次元の合成データにおいて、SVMや他の分類器を上回る性能を示す。

ABSTRACT

Given a task of predicting $Y$ from $X$, a loss function $L$, and a set of probability distributions $Γ$ on $(X,Y)$, what is the optimal decision rule minimizing the worst-case expected loss over $Γ$? In this paper, we address this question by introducing a generalization of the principle of maximum entropy. Applying this principle to sets of distributions with marginal on $X$ constrained to be the empirical marginal from the data, we develop a general minimax approach for supervised learning problems. While for some loss functions such as squared-error and log loss, the minimax approach rederives well-knwon regression models, for the 0-1 loss it results in a new linear classifier which we call the maximum entropy machine. The maximum entropy machine minimizes the worst-case 0-1 loss over the structured set of distribution, and by our numerical experiments can outperform other well-known linear classifiers such as SVM. We also prove a bound on the generalization worst-case error in the minimax approach.

研究の動機と目的

• 真のデータ分布が十分なサンプルが得られない高次元設定における教師あり学習を扱う。
• 経験分布を中心とする分布の集合上での最悪ケース期待損失を最小化する、ロバストな学習フレームワークを構築する。
• 条件付き予測のため、対数損失に限らない任意の損失関数への最大エントロピーの原則の一般化を行う。
• 0-1損失の下での二値分類のための新しい線形分類器（最大エントロピーマシンと呼ぶ）を導出する。
• ミニマックスフレームワークにおける最悪ケース誤差の一般化境界を確立する。

提案手法

• 経験分布P̂を中心とする分布の集合Γ上での最悪ケース期待損失を最小化するミニマックス学習問題を定式化する。
• 双対性およびミニマックス定理を適用して、一般化エントロピーとモーメント制約を含む、取り扱いやすい最適化問題に変換する。
• 0-1損失の場合、構造的分布集合の下で最悪ケース0-1損失を最小化する最適な意思決定ルールとして最大エントロピーマシン（MEM）を導出する。
• 双対変数にℓ₂正則化を適用した勾配降下法により、得られた最適化問題を解き、ℓ₁正則化を用いて特徴選択におけるスパarsityを促進する。
• 双対性を用いてミニマックス問題と相互情報量最大化を関連付け、ℓ₁正則化最適化によりスパースな特徴選択を可能にする。
• 正則化パラメータλのチューニングに交差検証を用い、トレーニング・テスト分割のモンテカルロ平均を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 真の分布が不明な状況下で、教師あり学習における最悪ケース期待損失を最小化するミニマックスフレームワークを開発可能か？
• RQ2 対数損失に限らない任意の損失関数への最大エントロピーの原則の一般化は可能か？
• RQ3 最悪ケース分布的不確実性下での0-1損失に対する最適な分類器は何か？
• RQ4 ミニマックスアプローチにより、高次元設定においてロバストでスパースかつ高精度な線形分類器が得られるか？
• RQ5 このフレームワークにおける最悪ケースミニマックスリスクの一般化誤差境界はどのように確立できるか？

主な発見

• 最大エントロピーマシン（MEM）は、6つのUCI二値分類データセットのうち4つでSVMを上回り、そのうち3つで最低の誤差率を記録した。
• 合成高次元データセット（n=200, d=10,000）では、MEMが20.0%の誤差率を達成し、SVM（20.6%）およびDRC（20.4%）をわずかに上回った。
• ミニマックスフレームワークにおけるℓ₁正則化ロジスティック回帰の定式化は、最悪ケース相互情報量を最大化するものであり、ヒューリスティックな特徴選択手法に対する原理的で整合性のある代替手段を提供する。
• ミニマックスアプローチは、適切な損失関数の下で、最小二乗回帰やラassoといった既知のモデルを回復することができ、その一般性を裏付けた。
• 定理3で確立された一般化境界により、分布的不確実性下でも学習されたルールの最悪ケース誤差が制御されることを保証する。
• 双対定式化におけるℓ₁正則化は、特徴選択行列におけるスパarsityを誘導し、高次元制約下での有効な変数選択を可能にする。