[論文レビュー] Multi-task Regression using Minimal Penalties

Matthieu Solnon, Sylvain Arlot+1 more|arXiv (Cornell University)|Jul 22, 2011

Sparse and Compressive Sensing Techniques参考文献 15被引用数 49

ひとこと要約

本稿では、マルチタスクカーネルリッジ回帰における正則化の最適化を実現するため、ノイズ共分散行列を推定する新しい最小ペナルティベースのアルゴリズムを提案する。この手法により、交差検証を用いずに最適な正則化が可能となる。弱い仮定のもとで、推定された共分散行列が真の値に収束することを証明し、オラクル不等式を確立することで、近似的に最適な予測性能が保証される。

ABSTRACT

In this paper we study the kernel multiple ridge regression framework, which we refer to as multi-task regression, using penalization techniques. The theoretical analysis of this problem shows that the key element appearing for an optimal calibration is the covariance matrix of the noise between the different tasks. We present a new algorithm to estimate this covariance matrix, based on the concept of minimal penalty, which was previously used in the single-task regression framework to estimate the variance of the noise. We show, in a non-asymptotic setting and under mild assumptions on the target function, that this estimator converges towards the covariance matrix. Then plugging this estimator into the corresponding ideal penalty leads to an oracle inequality. We illustrate the behavior of our algorithm on synthetic examples.

研究の動機と目的

• 標本サイズが小さい状況におけるマルチタスクカーネルリッジ回帰の正則化のキャリブレーションの課題に取り組む。
• 高次元マルチタスク設定において交差検証の限界を克服するため、データから直接ノイズ共分散行列を推定する。
• ノイズ共分散を用いたタスクの類似度推定に基づく理論的裏付けのある手法を開発し、予測精度を向上させる。
• 弱い仮定のもとで、推定された共分散行列が真の値に非漸近的に収束することを確立する。
• 推定されたペナルティを用いたマルチタスク回帰推定量のオラクル不等式を導出することで、近似的に最適な性能を保証する。

提案手法

• 従来、単一タスク回帰に用いられてきた最小ペナルティの概念を、マルチタスク回帰における共分散行列 Σ の推定に応用する。
• 交差検証や事前知識に依存しない、データ駆動型の Σ の推定器を用いる。
• 設計行列と推定共分散行列 (Σ̂ ⊗ In) の積のトレースに比例するペナルティ項を定義する。
• 推定共分散行列が、高確率で O(√(ln n)/n) の速度で真のノイズ共分散行列に収束することを証明する。
• 推定ペナルティと理想ペナルティの乖離を制御するため、集中不等式と行列ノルムのバインドを用い、オラクル不等式を確立する。
• 推定ペナルティが理想ペナルティからどれほど離れるかを制御するため、集中不等式と行列ノルムのバインドを用いる。

実験結果

リサーチクエスチョン

• RQ1 最小ペナルティの原則は、単一タスクからマルチタスク回帰への拡張が可能か？
• RQ2 非漸近的設定において、推定されたノイズ共分散行列は真の共分散行列をどの程度良く近似できるか？
• RQ3 ペナルティ項に推定された共分散行列を用いることで、マルチタスク回帰におけるオラクル不等式が得られるか？
• RQ4 最小ペナルティに基づくノイズ共分散行列推定量の収束速度はどの程度か？
• RQ5 この手法は、低標本サイズのマルチタスク設定において、交差検証などの標準的手法を上回る性能を示せるか？

主な発見

• 提案されたノイズ共分散行列の最小ペナルティ推定量は、高確率で O(√(ln n)/n) の速度で真の共分散行列に収束する。
• 推定量はオラクル不等式を達成する：マルチタスク回帰推定量の予測リスクは、対数要因を除き、定数倍の最適リスクで抑えられる。
• ターゲット関数と設計行列に弱い仮定を課すことで、非漸近的性能保証を実現する。
• 計算コストの高い交差検証を回避でき、低標本サイズの設定でもロバストである。
• 理論的分析により、最適なキャリブレーションの鍵は、タスク間のノイズ共分散行列の正確な推定にあることが示された。
• シミュレーションにより、この手法がタスクの類似度を正しく捉え、限られたデータにおけるマルチタスク回帰の性能を向上させることを確認した。