[論文レビュー] Linear Regression with Limited Observation

Elad Hazan, Tomer Koren|arXiv (Cornell University)|Jun 18, 2012

Advanced Bandit Algorithms Research参考文献 15被引用数 24

ひとこと要約

本稿は、学習中に各例について固定された数の特徴量しか観測できない制限付き観測設定下で、Lasso、リッジ、およびサポートベクターレグレッションの効率的アルゴリズムを提案する。Lassoおよびリッジに関しては、完全情報手法と同等の最適なサンプル複雑度を達成し、サポートベクターレグレッションに関しては、先行研究と比較して指数関数的に少ない特徴量を必要とする。これは、部分観測におけるオンライン学習における未解決問題を解決するものである。

ABSTRACT

We consider the most common variants of linear regression, including Ridge, Lasso and Support-vector regression, in a setting where the learner is allowed to observe only a fixed number of attributes of each example at training time. We present simple and efficient algorithms for these problems: for Lasso and Ridge regression they need the same total number of attributes (up to constants) as do full-information algorithms, for reaching a certain accuracy. For Support-vector regression, we require exponentially less attributes compared to the state of the art. By that, we resolve an open problem recently posed by Cesa-Bianchi et al. (2010). Experiments show the theoretical bounds to be justified by superior performance compared to the state of the art.

研究の動機と目的

• 訓練中に各例について制限された数の特徴量しか観測できない状況において、線形回帰を実行する課題に対処すること。
• Lassoおよびリッジ回帰において、部分観測と完全情報のアルゴリズムのサンプル複雑度のギャップを埋めること。
• Cesa-Bianchiら（2010）が提起した、制限付き観測下におけるサポートベクターレグレッションのサンプル複雑度に関する未解決問題を解決すること。
• 理論的境界を達成しつつ、実験でも最先端手法を上回る性能を示す実用的なアルゴリズムを設計すること。

提案手法

• 著者らは、勾配情報と信頼区間に基づいて、有益な特徴量を段階的に選択する新しい最適化フレームワークを導入する。
• Lassoおよびリッジ回帰に対しては、特徴量のサンプリングを組み込んだ確率的勾配降下法の変種を用い、完全情報アルゴリズムと同等の合計属性観測回数で収束を保証する。
• サポートベクターレグレッションに対しては、損失関数の構造的性質を活用する専用のアルゴリズムを設計し、必要な特徴量観測回数を指数関数的に削減する。
• 各例あたりの観測特徴量数を最小限に抑えるとともに、レグレット境界を維持するための双対最適化アプローチを採用する。
• 不確実性を最も低減する特徴量を優先して観測するため、信頼性に基づくサンプリングを統合する。
• 計算効率が高く、大規模なオンライン学習環境に適したスケーラブルなアルゴリズムとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 Lassoおよびリッジ回帰は、制限付き観測下でも、完全情報アルゴリズムと同等の合計属性観測回数で解けるか？
• RQ2 同じ部分観測制約下で、既存手法と比較して、サポートベクターレグレッションの特徴量使用量を指数関数的に低減することは可能か？
• RQ3 部分情報下での線形回帰において、特徴量観測コストとモデル精度の最適なトレードオフは何か？
• RQ4 提案されたアルゴリズムは、理論的保証を維持しつつ、実際の実験でも最先端手法を上回る性能を示せるか？
• RQ5 損失関数の構造は、部分観測設定下でのサンプル複雑度にどのように影響を与えるか？

主な発見

• 提案されたLassoおよびリッジ回帰のアルゴリズムは、与えられた精度に到達するための合計属性観測回数が、完全情報アルゴリズムと同等（定数倍の差異を除いて）である。
• サポートベクターレグレッションに関しては、最先端手法と比較して指数関数的に少ない属性観測回数を必要とし、サンプル効率が著しく向上する。
• 理論的境界は実験的にも裏付けられ、既存手法と比較して優れた性能を示した。
• 本手法は、Cesa-Bianchiら（2010）が提起した、部分観測におけるオンライン学習の未解決問題を解決する。
• 訓練例1つあたりの観測特徴量数を最小限に抑えつつ、優れた一般化性能を維持している。