[論文レビュー] Learning curves for multi-task Gaussian process regression

Simon R. F. Ashton, Peter Sollich|arXiv (Cornell University)|Nov 2, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用数 4

ひとこと要約

本稿は、テンソル構造をもつ特徴空間と偏微分方程式を用いて、複数タスクのガウス過程回帰における学習曲線の解析的近似を構築する。誤差の減少をモデル化することで、滑らかな関数に対しては、タスク間相関が完全でない限り（ρ=1でない限り）、マルチタスク学習は漸近的に無効であることが明らかになった。また、高タスク数の状況では2段階の学習プロセスが観察される：初期段階では集団的な誤差低減が発生し、その後、各タスクの例数がTに比例するようになる段階で、個々のタスクの学習が遅々と進行する。

ABSTRACT

We study the average case performance of multi-task Gaussian process (GP) regression as captured in the learning curve, i.e. the average Bayes error for a chosen task versus the total number of examples $n$ for all tasks. For GP covariances that are the product of an input-dependent covariance function and a free-form inter-task covariance matrix, we show that accurate approximations for the learning curve can be obtained for an arbitrary number of tasks $T$. We use these to study the asymptotic learning behaviour for large $n$. Surprisingly, multi-task learning can be asymptotically essentially useless, in the sense that examples from other tasks help only when the degree of inter-task correlation, $ρ$, is near its maximal value $ρ=1$. This effect is most extreme for learning of smooth target functions as described by e.g. squared exponential kernels. We also demonstrate that when learning many tasks, the learning curves separate into an initial phase, where the Bayes error on each task is reduced down to a plateau value by "collective learning" even though most tasks have not seen examples, and a final decay that occurs once the number of examples is proportional to the number of tasks.

研究の動機と目的

• 任意の数のタスクに対して、サンプリングに依存しない明示的な学習曲線の近似式を導出すること。
• 訓練データ数nの増加に伴うベイズ誤差の漸近的挙動を分析すること。
• 特に多くのタスクの極限において、タスク間相関ρが学習効率に与える影響を調査すること。
• Tが大きい場合の学習ダイナミクスにおける構造的分離（集団学習と遅延した個別タスク学習）を解明すること。
• 2タスクを超える場合に、マルチタスクの利得がρ²に線形に比例すると仮定する考えを検証すること。

提案手法

• 訓練例が加法的に寄与するテンソル構造をもつ特徴空間において、各タスクのベイズ誤差を表現する。
• 任意のタスクに例を追加する際のベイズ誤差の進化を記述する偏微分方程式を導出する。
• 特性曲線法を用いてこれらのPDEを解き、学習曲線の閉形式近似を導出する。
• 得られた近似式を用いて、n → ∞およびT → ∞における漸近的挙動を分析する。
• 有効なノイズレベルと再スケーリングされた例数を介して、学習曲線を単一タスクGPの挙動と関連付ける。
• 2タスクの状況および高T状況において、数値シミュレーションと照合して予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 複数タスクのGP設定において、すべてのタスクにわたる訓練例の合計数が増加するにつれて、あるタスクにおけるベイズ誤差はどのように減少するか？
• RQ2 マルチタスク学習が漸近的に利点をもたらす条件は何か、特に滑らかな関数に対しては？
• RQ3 多くのタスクが例を一切見ない状況下でも、高T状況において集団学習が可能か？
• RQ4 T > 2の場合に、漸近的誤差減少におけるマルチタスクの利得がρ²に線形に比例しないのはなぜか？
• RQ5 タスク数Tが大きい場合に、学習ダイナミクスがどのように異なる段階に分離するか？

主な発見

• 滑らかな関数（例：平方指数カーネル）に対しては、タスク間相関が完全でない限り（ρ < 1の場合）、マルチタスク学習は漸近的に利益をもたらさない。誤差の減少率はρ < 1の下ではρに依存しなくなる。
• T → ∞でnが固定されている場合、ベイズ誤差は1 − ρに飽和する。これは、多くのタスクが例を一切見ないにもかかわらず、集団学習のおかげである。
• nがTに比例するようになる段階に差し掛かったとき、第二段階の遅い学習段階が開始される。この段階では、各タスクに顕著な数の例が与えられるようになる。
• 滑らかな関数に対しては、漸近的誤差が(1 − ρ)^{1−α}のようになる（α → 1）。これは、ρ = 1でない限り利得が消えることを示している。
• T = 2の場合は有効なρ²に線形な下界が成立するが、T > 2では実際の減少は滑らかでない関数に対して非線形となるため、この下界は拡張されない。
• 導出された近似式は、モンテカルロ・サンプリングや単一タスク曲線の事前知識なしに学習曲線を正確に予測でき、数値シミュレーションとも良好に一致する。