[論文レビュー] Active Learning for Binary Classification with Abstention

Shubhanshu Shekhar, Mohammad Ghavamzadeh+1 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Algorithms参考文献 32被引用数 6

ひとこと要約

本稿は、固定コストおよび2つの有界レート変種を含む3つの設定における二値分類のためのアドバイス付きアクティブラーニングアルゴリズムを提案する。非パラメトリック枠組みを用い、ミニマックス近似最適な超過リスクバウンドを確立し、未知の滑らかさパラメータを適応的に推定する戦略を導入。高次元問題に対しては計算効率の良い変種も提示する。

ABSTRACT

We construct and analyze active learning algorithms for the problem of binary classification with abstention. We consider three abstention settings: \emph{fixed-cost} and two variants of \emph{bounded-rate} abstention, and for each of them propose an active learning algorithm. All the proposed algorithms can work in the most commonly used active learning models, i.e., \emph{membership-query}, \emph{pool-based}, and \emph{stream-based} sampling. We obtain upper-bounds on the excess risk of our algorithms in a general non-parametric framework and establish their minimax near-optimality by deriving matching lower-bounds. Since our algorithms rely on the knowledge of some smoothness parameters of the regression function, we then describe a new strategy to adapt to these unknown parameters in a data-driven manner. Since the worst case computational complexity of our proposed algorithms increases exponentially with the dimension of the input space, we conclude the paper with a computationally efficient variant of our algorithm whose computational complexity has a polynomial dependence over a smaller but rich class of learning problems.

研究の動機と目的

• モデルが意思決定を延期することで誤差コストを低減できる、アドバイス付き二値分類のためのアクティブラーニング手法の不足を補う。
• 固定コスト、既知の周辺確率を伴う有界レート、未知の周辺確率を伴う有界レートの3つのアドバイス設定に適したアルゴリズムを設計する。
• 上界と一致する下界を導出し、超過リスクに関する理論的保証を確立することで、ミニマックス近似最適性を証明する。
• 事前知識なしに回帰関数の未知の滑らかさパラメータをデータ駆動的に推定するためのデータ駆動的適応戦略を開発する。
• 高次元問題に対しては、指数関数的依存性を polynomial 時間で抑える強力な性能を維持する計算効率の良い変種を提案する。

提案手法

• 回帰関数 $\eta(x) = P(Y=1|X=x)$ を用いて問題を定式化し、入力をラベル分布（$\Delta$（アドバイス）を含む）にマッピングするアドバイス付き分類器を定義する。
• プール・ストリーム・メンバーシップクエリモデルを用い、固定コスト（既知の $\lambda$）、周辺確率 $P_X$ が既知の有界レート、$P_X$ が未知の有界レートの3つの設定に対してアクティブラーニングアルゴリズムを設計する。
• 回帰関数 $\eta(x)$ に対する滑らかさ仮定（ホルダー型正則性および $P_X$ の有界密度）を用いた非パラメトリック枠組みを採用し、超過リスクバウンドを導出する。
• バンド幅としきい値のデータ駆動的選択により未知の滑らかさパラメータを推定する、新しい適応的スキームを導入し、耐性を向上させる。
• 意思決定閾値周辺の不確実性領域を精緻化するためにノイズを含む二分探索戦略を適用し、必要なラベル数を削減する。
• 探索空間を低次元多様体または構造化された入力空間に制限することで、計算効率の良い変種を導出し、次元 $D$ に対して指数的から多項式的時間へと複雑度を低下させる。

実験結果

リサーチクエスチョン

• RQ1 アドバイス付き二値分類のためのアクティブラーニング戦略は、非パラメトリック設定においてミニマックス最適な超過リスクを達成できるか？
• RQ2 固定コストおよび有界レート設定において、アドバイス付きアクティブラーニングの超過リスクは、パッシブラーニングと比較してどのように異なるか？
• RQ3 未知の滑らかさパラメータがアルゴリズムの性能に与える影響は何か？ また、それらはデータから適応的に推定可能か？
• RQ4 環境次元 $D$ がアドバイス付きアクティブラーニングの計算複雑度に与える影響は何か？ そして、これを軽減できるか？
• RQ5 指数的依存性を削減しながら、強力な理論的保証を維持する計算効率の良い変種を設計できるか？

主な発見

• 提案されたアクティブラーニングアルゴリズムは、固定コストおよび有界レート設定の両方において、ミニマックス近似最適な超過リスクバウンドを達成している。
• 固定コストおよび有界レート設定において、滑らかさおよび密度仮定の下で、超過リスクは $O(n^{-\frac{\alpha_0 \beta}{2\alpha_0 \beta + D}})$ のオーダーでスケーリングする。ここで $\alpha_0$ と $\beta$ は滑らかさパラメータである。
• 適応的戦略は、事前知識なしに未知の滑らかさパラメータを効果的に推定でき、非適応的バージョンと同等の超過リスクレートを維持する。
• 主アルゴリズムの最悪計算複雑度は入力次元 $D$ に対して指数関数的に増加するが、制限付き問題クラスでは多項式時間の変種によりこれを軽減できる。
• 検出可能性（DE）仮定は、分類不能領域が大きくなりすぎないよう防ぐために必要である。DE仮定がないと、意思決定閾値付近の周辺密度が低いため、収束速度が劣化する。
• さらに $P_X$ が下限で有界密度を持つと仮定すると、リスクバウンドにおける有効次元は $\max\{0, D - \beta \alpha_0\}$ に低下し、低次元多様体では標本効率が向上する。