[論文レビュー] On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes

Moyan Li, Raed Al Kontar|arXiv (Cornell University)|Apr 6, 2020

Gaussian Processes and Bayesian Inference参考文献 31被引用数 5

ひとこと要約

本稿では、負の転送を防ぐために十分な潜在関数を保証しつつ、パラメータ数を管理可能な範囲に抑えることで、スケーラブルな潜在関数構造を2つ提案する。正則化を用いることで関連する出力を自動的に選択でき、大規模データセットでも性能を維持する。標準的なMGPが高次元パラメータ空間で推定に失敗する状況でも、本モデルは優れた性能を発揮する。

ABSTRACT

The multi-output Gaussian process ($\mathcal{MGP}$) is based on the assumption that outputs share commonalities, however, if this assumption does not hold negative transfer will lead to decreased performance relative to learning outputs independently or in subsets. In this article, we first define negative transfer in the context of an $\mathcal{MGP}$ and then derive necessary conditions for an $\mathcal{MGP}$ model to avoid negative transfer. Specifically, under the convolution construction, we show that avoiding negative transfer is mainly dependent on having a sufficient number of latent functions $Q$ regardless of the flexibility of the kernel or inference procedure used. However, a slight increase in $Q$ leads to a large increase in the number of parameters to be estimated. To this end, we propose two latent structures that scale to arbitrarily large datasets, can avoid negative transfer and allow any kernel or sparse approximations to be used within. These structures also allow regularization which can provide consistent and automatic selection of related outputs.

研究の動機と目的

• 多出力ガウス過程（MGP）における負の転送を定義・解決すること。これは、関係のない出力間で共通の仮定を採用することで性能が低下する状況を指す。
• どのカーネル関数や推論手法を用いようと、負の転送を回避するには十分な潜在関数（Q）が必要であることを特定すること。
• Qを増加させた際の計算負荷を軽減するため、大規模データセットにスケーリング可能で、低次元パラメータ推定が可能な2つの緩和されたMGP構造を提案すること。
• 潜在構造における正則化を用いて関連する出力を自動的に選択可能とすることで、一般化性能とモデルの一貫性を向上させること。

提案手法

• 各出力が固有の潜在関数に接続されるアローヘッド構造を用いた緩和されたMGP構造を提案。共有パラメータを最小限に抑えつつ、出力間の相関を保持する。
• 出力をペアごとにグループ化し、各ペアが1つの潜在関数を共有するペアワイズMGP構造を導入。完全なMGPと比較して、パラメータ数を著しく削減する。
• ハイパーパramータに正則化ペナルティを適用することで、関連する出力を一貫的かつ自動的に選択可能とし、過学習を低減して一般化性能を向上させる。
• インダクティングポイントを用いた変分推論を採用し、大規模データセットへのスケーリングを実現。計算効率を維持する。
• 畳み込み構造（f_i(x) = Σ_q K_qi(x) ⋆ X_q(x)）を適用するが、各出力が有効な潜在関数を制限することで複雑性を抑える。
• スパース近似と任意の標準カーネルを、緩和された構造内で使用。柔軟性を保ちつつ、高次元パラメータ推定を回避する。

実験結果

リサーチクエスチョン

• RQ1 多出力ガウス過程における負の転送を回避するには、どのような条件を満たす必要があるか？
• RQ2 カーネル関数や推論手法に依存せず、十分な数の潜在関数（Q）があれば、負の転送を回避できるか？
• RQ3 Qを増加させた際にパラメータ数の爆発を避けるには、MGPモデルをどのように構造化すべきか？
• RQ4 潜在構造における正則化により、関連する出力を自動的に選択可能になるか？
• RQ5 提案された緩和されたMGP構造は、標準MGPが失敗する大規模データセットでも予測性能を維持するか？

主な発見

• アローヘッドおよびペアワイズMGPモデルは、Q=20の標準MGPと同等の予測性能を達成しており、高次元パラメータ推定に失敗する完全なMGPとは対照的である。
• N=50、Q=20の場合、標準MGPは推定に約24時間を要し、予測性能も著しく低下したが、ペアワイズモデルはわずか約30秒で推定完了した。
• N=50のケースにおいて、ペアワイズモデルは完全MGPおよびアローヘッドモデルを上回った。これは、パラメータ次元数が低いため、推定がより良好に行えたためである。
• 為替レートの実データでは、ペアワイズモデルがMXN/USDでMSE 0.040、KRW/USDでMSE 0.015を達成し、Q=10のMGP（MSE: 0.217および0.322）を顕著に上回った。
• 標準MGPが小さなNを越えると非現実的になるのに対し、提案モデルはデータサイズが増大しても計算コストを低く抑えつつ、高い予測精度を維持する。
• 緩和された構造における正則化により、関連する出力を一貫的かつ自動的に選択可能となり、一般化性能の向上と過学習の低減が達成された。