[論文レビュー] Online Learning for Distribution-Free Prediction

Dave Zachariah, Petre Stoica+1 more|arXiv (Cornell University)|Mar 15, 2017

Gaussian Processes and Bayesian Inference参考文献 39被引用数 3

ひとこと要約

本稿では、線形回帰およびコンビナトリック型予測子におけるハイパーパramータ推定に共分散フィッティングを用いる、オンラインで分布に依存しない学習手法を提案する。この手法により、線形時間・定数メモリのオンライン更新が可能となり、局所的最小値を回避し、不要な特徴量を自動でプルーニングでき、分割順応的推定フレームワークを用いることで、計算コストを最小限に抑えつつ、分布に依存しない予測区間を効率的に得られる。

ABSTRACT

We develop an online learning method for prediction, which is important in problems with large and/or streaming data sets. We formulate the learning approach using a covariance-fitting methodology, and show that the resulting predictor has desirable computational and distribution-free properties: It is implemented online with a runtime that scales linearly in the number of samples; has a constant memory requirement; avoids local minima problems; and prunes away redundant feature dimensions without relying on restrictive assumptions on the data distribution. In conjunction with the split conformal approach, it also produces distribution-free prediction confidence intervals in a computationally efficient manner. The method is demonstrated on both real and synthetic datasets.

研究の動機と目的

• ストリーミングデータを扱う大規模または拡大するデータセットにおけるスケーラブルでリアルタイムな予測の課題に対処すること。
• 入力データに制限的な分布仮定を課さない学習手法の開発。
• 定数メモリと更新ごとの線形計算コストを満たすオンラインで段階的な学習の実現。
• パラメトリック仮定に依存せず、取り扱い可能な分布に依存しない予測区間の支援。
• データ分布の事前知識なしに、不要な特徴量次元を自動でプルーニングすること。

提案手法

• 既存手法を非ゼロ平均構造へ一般化する共分散フィッティング基準を用いて予測子学習を定式化する。
• コスト関数の単調減少を保証するため、循環的最小化を適用してハイパーパramータ推定問題を解く。
• 再帰的更新を用いて、線形回帰（Lr）および線形コンビナトリック（Lc）形における重みの閉形式更新ルールを導出する。
• 二段階の更新戦略を導入：初期段階では事前重みがゼロの特徴量のためのもの、その後の段階ではスパarsity誘導型ペナルティを適用する活性特徴量のためのもの。
• 分布に依存しない予測区間を生成するために、分割順応的推定フレームワークを活用する。
• 主な統計量（例：$oldsymbol{ ho}$, $oldsymbol{ ho}$, $oldsymbol{ ho}$）の再帰的計算を用いて、定数メモリと線形実行時間を維持する。

実験結果

リサーチクエスチョン

• RQ1 データサイズに線形にスケーリングされ、定数メモリを要する分布に依存しないオンライン学習手法を設計できるか？
• RQ2 未知のデータ分布に対して頑健であり、局所的最小値を回避できるハイパーパramータ学習はどのように実現できるか？
• RQ3 特定のデータ分布やスパarsity構造を仮定せず、自動的に特徴量プルーニングを達成できるか？
• RQ4 この手法を用いて、オンライン環境で効率的に分布に依存しない予測区間を計算できるか？
• RQ5 本手法の性能とスケーラビリティは、実データおよび合成データにおいて、オフラインの交差検証と比較してどうなるか？

主な発見

• 提案手法は、線形実行時間と定数メモリを達成するオンライン学習を実現し、大規模またはストリーミングデータセットへの適用が可能である。
• コスト関数の凸性と循環的最小化のおかげで、局所的最小値を回避し、グローバル解への収束が保証される。
• 正則化構造のおかげで、データ分布の事前仮定なしに自然に不要な次元が抑制され、特徴量プルーニングが行われる。
• 分割順応的推定フレームワークとの統合により、計算的に効率的で分布に依存しない予測区間が実現できる。
• 実データおよび合成データを用いた実験的評価では、オフラインの交差検証と比較して競争力のある予測性能を示し、計算効率に顕著な向上が見られた。
• 未知のデータ分布に対して頑健であり、多様なデータ環境でも安定した性能を維持する。