[論文レビュー] Minimizing Negative Transfer of Knowledge in Multivariate Gaussian Processes: A Scalable and Regularized Approach

Raed Al Kontar, Garvesh Raskutti+1 more|arXiv (Cornell University)|Jan 31, 2019

Gaussian Processes and Bayesian Inference参考文献 53被引用数 3

ひとこと要約

本稿では、畳み込み過程（CP）を用いて、多次元ガウス過程（MGPs）のスケーラブルで正則化されたペアワイズモデリング手法を提案する。この手法は、相関のない出力間で共有される潜在関数に対するペナルティを課すことにより、負の転送を軽減する。全MGPを二変量GPsに分解し、グループlasso正則化を適用することで、高次元出力設定下での計算効率と予測精度が向上する。

ABSTRACT

Recently there has been an increasing interest in the multivariate Gaussian process (MGP) which extends the Gaussian process (GP) to deal with multiple outputs. One approach to construct the MGP and account for non-trivial commonalities amongst outputs employs a convolution process (CP). The CP is based on the idea of sharing latent functions across several convolutions. Despite the elegance of the CP construction, it provides new challenges that need yet to be tackled. First, even with a moderate number of outputs, model building is extremely prohibitive due to the huge increase in computational demands and number of parameters to be estimated. Second, the negative transfer of knowledge may occur when some outputs do not share commonalities. In this paper we address these issues. We propose a regularized pairwise modeling approach for the MGP established using CP. The key feature of our approach is to distribute the estimation of the full multivariate model into a group of bivariate GPs which are individually built. Interestingly pairwise modeling turns out to possess unique characteristics, which allows us to tackle the challenge of negative transfer through penalizing the latent function that facilitates information sharing in each bivariate model. Predictions are then made through combining predictions from the bivariate models within a Bayesian framework. The proposed method has excellent scalability when the number of outputs is large and minimizes the negative transfer of knowledge between uncorrelated outputs. Statistical guarantees for the proposed method are studied and its advantageous features are demonstrated through numerical studies.

研究の動機と目的

• 多くの出力を持つ多次元ガウス過程（MGPs）における計算の非現実性に対処すること。
• 出力が相関がなくあるいは弱く相関する場合に、知識の負の転送を軽減すること。
• 統計的精度と不確実性の定量化を維持しながら、スケーラブルな推定フレームワークを開発すること。
• 出力のペアワイズモデリングを通じて、MGPsの分散推定を可能にすること。
• 正則化の下での一貫性と選択精度に関する理論的保証を提供すること。

提案手法

• この手法は、全多次元GPを、各出力ペアを独立にモデル化する一連の二変量GPに分解する。
• 各二変量GPは、畳み込み過程のパラメータに対するグループlassoによる正則化付き尤度を用いて推定される。
• 正則化項は、相関のない出力間での情報共有を促進する潜在関数の影響を小さくするように設計されている。
• 予測は、すべてのペアワイズモデルからの予測分布をベイズフレームワーク内で統合することで行う。
• このアプローチは、テイラー展開と漸近的解析を活用し、推定量の一貫性を確立する。
• 全出力集合のフル共分散行列の逆行列を回避することで、計算のスケーラビリティを保証する。

実験結果

リサーチクエスチョン

• RQ1 多くの出力を持つ多次元ガウス過程における計算負担を、スケーラブルで正則化されたアプローチで軽減できるか？
• RQ2 出力が相関がなければ、知識の負の転送をどのように最小化できるか？
• RQ3 正則化付きのペアワイズモデリングは、統計的一貫性と予測精度を維持するか？
• RQ4 高次元出力空間において、モデル選択の一貫性を達成できるか？
• RQ5 サンプルサイズと出力次元が増加する条件下で、正則化推定量の理論的挙動はいかなるものか？

主な発見

• 提案手法は、全MGPをペアワイズの二変量モデルに分解することで、フル多次元推定の非現実的なコストを回避し、計算のスケーラビリティを達成する。
• グループlassoによる正則化は、相関のない出力間での情報共有を効果的に抑制し、負の転送を最小化する。
• 理論的解析により、推定量が一貫しており、サンプルサイズが増加するにつれて、不要な潜在関数の選択確率が高くなることが示された。
• 大規模な出力次元下でも、フルMGPモデルと同等の不確実性の定量化と予測性能を維持する。
• 数値実験では、相関のある出力と相関のない出力が混合する状況において、標準MGPおよび分離可能共分散アプローチを上回る性能を示した。
• 理論的結果により、正則性条件の下で、推定量が真の潜在構造を確率1に近づけて選択することが確認された。