[論文レビュー] Active Regression by Stratification

Sivan Sabato, Rémi Munos|arXiv (Cornell University)|Oct 22, 2014

Machine Learning and Algorithms参考文献 22被引用数 16

ひとこと要約

本稿では、パラメトリック線形回帰のためのアクティブラーニングアルゴリズムを提案する。この手法は階層的分割（stratification）を用いてデータポイントを適応的にサンプリングし、誤差境界における分布依存定数を低減することで、被動学習に比べて収束速度を向上させる。この方法は入力空間を分割し、局所的定数近似を用いて最適なオラクルリスクに近づく。モデルが誤った指定である場合でも有限標本保証が得られる。

ABSTRACT

We propose a new active learning algorithm for parametric linear regression with random design. We provide finite sample convergence guarantees for general distributions in the misspecified model. This is the first active learner for this setting that provably can improve over passive learning. Unlike other learning settings (such as classification), in regression the passive learning rate of $O(1/ε)$ cannot in general be improved upon. Nonetheless, the so-called `constant' in the rate of convergence, which is characterized by a distribution-dependent risk, can be improved in many cases. For a given distribution, achieving the optimal risk requires prior knowledge of the distribution. Following the stratification technique advocated in Monte-Carlo function integration, our active learner approaches the optimal risk using piecewise constant approximations.

研究の動機と目的

• 線形回帰におけるアクティブラーニングアルゴリズムを構築し、収束速度における分布依存定数を被動学習に比べて改善すること。
• 誤ったモデルが想定される状況下でも、一般分布に対して有限標本収束保証を提供すること。
• モンテカルロ統合で一般的に用いられる分割（stratification）を応用し、入力空間のより細かい分割を用いて最適なオラクルリスクを近似すること。
• アクティブラーニングが、一般に $O(1/\epsilon)$ のレートが改善不能であるにもかかわらず、回帰において被動学習に比べて厳密に優れた収束速度を達成できることを示すこと。

提案手法

• 入力空間 $\mathbb{R}^d$ を互いに素な領域（ストラタ）に階層的に分割し、各ストラタに標本数の目標値を割り当てる。
• 各ストラタに対して、入力の下でのラベルの条件付き分散を推定し、期待誤差を最小化するように標本を割り当てる。
• 三段階のサンプリング戦略を採用する：第一に、分布を推定し空間を分割する。第二に、各ストラタ内で局所的リスクを推定するためのサンプリングを行う。第三に、すべてのラベル付きデータを用いて最終的な予測器を訓練する。
• 集中不等式と推定誤差のバウンドを用いて有限標本収束レートを導出し、バイアス、バリアンス、サンプリング誤差の項を組み込む。
• 収束レートは、最良の分割によって定義されるオラクルリスクに近づき、誤差は $m$（ラベル総数）に関して $O(\log m / m)$ のオーダーで減少する。
• アルゴリズムは、データ分布に適応し、高分散または高影響度領域に標本を動的に割り当てながら、分割を refining することで収束を促進する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、線形回帰において、被動学習よりも分布依存定数を改善できるか？
• RQ2 誤ったモデルが想定される状況下でも、アクティブレギュレーションに対して有限標本収束保証を提供することは可能か？
• RQ3 モンテカルロ統合から借用された分割技術を、回帰におけるアクティブラーニングの改善に応用できるか？
• RQ4 アクティブラーニングが被動学習に比べて、回帰において収束速度をどの程度まで改善できるか、理論的限界は何か？
• RQ5 提案されたアルゴリズムは、入力空間の分割によって定義される最適なオラクルリスクに収束するか？

主な発見

• アクティブラーナーは $O(\log m / m)$ の収束速度を達成し、定数因子が最良の分割によって定義される最適なオラクルリスクに近づく。
• 1次元の具体的な例では、アクティブラーナーの誤差率は $O(\sigma^2 p \log(1/\delta)/m)$ である一方、最良の被動ラーナーのレートは $\Omega(\sigma^2 / m)$ であり、定数因子において $O(1/p)$ の改善が示される。
• $m$ が十分に大きい場合、被動学習とアクティブラーニングのレート比は $O(1/p)$ に近づき、定数項における明確で顕著な改善が裏付けられる。
• モデルの誤り指定がある場合でも、標本サイズと信頼パラメータの関数としての過剰リスクの明示的バウンドを含め、有限標本保証が得られる。
• アルゴリズムの収束速度は、最適予測器の $L^2$ ノルムと分割依存リスクを含む項によって上限づけられ、分割の refining によって最小化可能である。
• 解析により、アクティブラーナーは与えられた分割に対して可能な最小リスクに近づけることが示され、分割の refining を通じて、グローバルに最適なオラクルリスクに収束することが確認される。