[論文レビュー] Adaptivity to Noise Parameters in Nonparametric Active Learning

Andrea Locatelli, Alexandra Carpentier+1 more|arXiv (Cornell University)|Mar 16, 2017

Machine Learning and Algorithms参考文献 19被引用数 4

ひとこと要約

本稿は、未知のノイズ滑らかさ（α）およびマージンパラメータ（β）に適応するが、適応的信頼集合を必要としない非パラメトリック分類のための新規なアクティブラーニングアルゴリズムを提案する。階層的分割と楽観的推定を用いることで、最小最大レートを達成し、理論的保証により収束レートが向上することを示している。特にα > 1およびαβ > dの場合に顕著な改善が得られる。

ABSTRACT

This work addresses various open questions in the theory of active learning for nonparametric classification. Our contributions are both statistical and algorithmic: -We establish new minimax-rates for active learning under common extit{noise conditions}. These rates display interesting transitions -- due to the interaction between noise extit{smoothness and margin} -- not present in the passive setting. Some such transitions were previously conjectured, but remained unconfirmed. -We present a generic algorithmic strategy for adaptivity to unknown noise smoothness and margin; our strategy achieves optimal rates in many general situations; furthermore, unlike in previous work, we avoid the need for extit{adaptive confidence sets}, resulting in strictly milder distributional requirements.

研究の動機と目的

• アクティブラーニングにおける非パラメトリック分類の理論的ギャップを埋めること、特にα ≤ 1の領域およびαβ > dの場合に焦点を当てる。
• 適応的信頼集合に依存しないが、未知のノイズ滑らかさαおよびマージンβに適応するアルゴリズムの開発。
• 一般のノイズ条件、非一様な周辺分布およびα > 1の下でも最小最大最適レートの確立。
• α > 1およびβ = 1の遷移を含む多様なノイズ領域で最適レートを達成する統一的なフレームワークの提供。
• 従来の研究で要請されていた、L2とLinfノルムの間の自己同型性または等価性の仮定を排除すること。

提案手法

• 入力空間の階層的分割を用い、ベイズ意思決定境界（η(x) ≈ 1/2）に近い領域にサンプリングを集約する。
• バンドイットアルゴリズムにインspiredされた、η(x)から1/2までの距離の楽観的下界を用いてアクティブサンプリングを誘導する。
• アクティブセルにおける高階数カーネル推定器を適用し、滑らかさ（α > 1）を活用して収束を高速化する。
• n、δ、α、β、λ（リプシッツ定数）に比例する信頼区間に基づく、予算に配慮した停止ルールを導入する。
• α ≤ 1またはα > 1に応じて、分類器出力の明示的過剰リスクバウンドΔ*n,δ,α,λおよびΔn,δ,α,λを導出する。
• P_Xに関する弱い仮定の下で成立する非漸近的かつ分布に頑健な解析により、適応的信頼集合を回避する。

実験結果

リサーチクエスチョン

• RQ1 α > 1およびαβ > dの場合に、アクティブ非パラメトリック分類の最小最大最適レートは何か？
• RQ2 適応的信頼集合や自己同型性の仮定を必要としないアクティブラーニングアルゴリズムが最適レートを達成できるか？
• RQ3 α、β、dおよび周辺分布P_Xの相互作用が、アクティブラーニングにおける学習レートにどのように影響するか？
• RQ4 α > 1の遷移において、指数部の分母が[d - αβ]+から[d - β]+に変化するレート遷移が存在するか？
• RQ5 1つのアルゴリズムが、これらのパラメータαおよびβの事前知識なしに、すべてのレート領域で最適レートを適応的に達成できるか？

主な発見

• α > 1およびβ ≥ 0の場合に、n^{-α(β+1)/(2α + [d - β]+)}という新しい最小最大レートを確立した。これは、従来の[d - αβ]+項を置き換え、β = 1のときタイトであることを示した。
• β = 1の場合の一致する下界を証明し、追加の仮定なしにより速いレートは達成不可能であることを示した。
• 提案アルゴリズムは、α ≥ 1およびβ ≥ 0の下で、弱い条件下で最適レートを達成し、適応的信頼集合を必要としない。
• α ≤ 1の場合、レートn^{-α(β+1)/(2α + [d - αβ]+)}は既知の結果と一致するが、解析は一般のP_Xおよびα > 1に拡張された。
• アルゴリズムは過剰リスクΔ*n,δ,α,λに関して、α > 1ではO(n^{-α/(2α + [d - β]+)})、α ≤ 1ではO(n^{-α/(2α + d)})の速度で収束することが保証されている。
• 従来の研究で要請された制限的な仮定（L2とLinfノルムの等価性、自己同型性）を回避するため、階層的分割を用いた新しい楽観的戦略を導入した。