[論文レビュー] Satisfying Real-world Goals with Dataset Constraints

Gabriel Goh, Andrew Cotter+2 more|arXiv (Cornell University)|Jun 24, 2016

Imbalanced Data Classification Techniques参考文献 16被引用数 79

ひとこと要約

本稿では、複数のデータセット上で公平性、カバレッジ、離脱削減、再検出率といった実世界の機械学習目標を満たすために、ランプペナルティを用いた制約付き最適化フレームワークを提案する。非凸問題に対する近似的な効率的アルゴリズムを導入し、ベンチマークおよび産業界データセットにおいて有効性を示している。

ABSTRACT

The goal of minimizing misclassification error on a training set is often just one of several real-world goals that might be defined on different datasets. For example, one may require a classifier to also make positive predictions at some specified rate for some subpopulation (fairness), or to achieve a specified empirical recall. Other real-world goals include reducing churn with respect to a previously deployed model, or stabilizing online training. In this paper we propose handling multiple goals on multiple datasets by training with dataset constraints, using the ramp penalty to accurately quantify costs, and present an efficient algorithm to approximately optimize the resulting non-convex constrained optimization problem. Experiments on both benchmark and real-world industry datasets demonstrate the effectiveness of our approach.

研究の動機と目的

• 標準的な正答率を超える、実世界の目的（例：公平性、カバレッジ、モデル安定性）を最適化する課題に対処する。
• 異なるデータセット上で、人種的公平性、再検出率、離脱率といった多様な実世界の目標を、率制約として定式化する。
• 複数の制約を同時に扱いながら計算効率を維持するスケーラブルな最適化フレームワークを構築する。
• 運用上の負荷を減らすために、モデル更新を以前にデプロイされたモデルに対して制約することで、実用的な展開を確保する。
• 非凸性およびデータセットの非同一性といった現実的な仮定の下で、提案されたアルゴリズムの理論的収束保証を提供する。

提案手法

• 実世界の目標（例：公平性、カバレッジ、再検出率）を、複数のデータセットにおける正例・負例予測率に関する制約として表現する。
• ミス分類コストを正確に評価できるように、ランプペナルティを用いることで、制約違反の制御を精密に行う。
• 複数のデータセット固有の制約を含む非凸な制約付き最適化問題として学習問題を定式化する。
• モデル重みと双対変数の最適化を交互に繰り返す反復的アルゴリズム（アルゴリズム2）を提案し、部分勾配に基づくアプローチを採用する。
• 内部のSVM最適化にはSDCAまたはカーネル化SVMソルバを実装し、双対変数の更新には重心オракルを用いる。
• 線形分類器における正則化なしのバイアス項を処理するバイアス補正機構（アルゴリズム3）を導入し、収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 公平性、カバレッジ、離脱といった実世界の機械学習目標を、トレーニングフレームワーク内で制約として形式的に表現する方法は何か？
• RQ2 1つの最適化フレームワークが、複数の異なるデータセット上で多様な実世界の目標を同時に効果的に処理できるか？
• RQ3 非凸で複数のデータセット制約を含む制約付き最適化問題を解くアルゴリズムの収束挙動はいかなるものか？
• RQ4 制約付き学習において、標準的なハッジ損失と比較して、ランプペナルティの使用がコスト評価の正確性をどのように向上させるか？
• RQ5 提案されたアルゴリズムは、主な目的の性能を維持または向上させつつ、どの程度モデルの離脱（churn）を低減できるか？

主な発見

• 提案されたフレームワークは、複数のデータセットにおける率制約として定式化することで、公平性、カバレッジ、再検出率、離脱といった多様な実世界の目標を効果的に処理できる。
• ベンチマークおよび実世界の産業界データセットにおける実験から、ユーザー指定の制約を効果的に満たす一方で、主な目的の性能を競争的に維持していることが示された。
• 理論的分析により、アルゴリズム2は総計 Õ(dnm + dm²k²/ϵ) 回の算術演算で ϵ-最適解に収束することが示された。ここで、dは次元、nは全データサイズ、mは制約数、kはデータセット数である。
• アルゴリズムは、重心オラクルおよび線形プログラミングオラクルを O(m ln²(k/ϵ)) 回呼び出す必要があるが、これらは実際には計算的に困難である。
• カーネル化がサポートされており、標準的なカーネルSVMソルバ（例：LIBSVM）の利用が可能であり、カーネル設定下ではSDCAよりも実用的な性能を発揮する。
• 新規モデルとデプロイ済みモデルの未ラベルデータ上での経験的不一致率を制約することで、モデルの離脱問題に対する実用的解決策を提供する。