[論文レビュー] Tensor Regression Meets Gaussian Processes

Rose Yu, Guangyu Li+1 more|arXiv (Cornell University)|Oct 31, 2017

Tensor decomposition and applications参考文献 2被引用数 21

ひとこと要約

本論文は、多線形ガウス過程（MLGP）を導入することで、低ランクテンソル回帰とガウス過程の理論的関係を確立し、低ランク制約をベイジアン推論問題として解釈する。オракル不等式を証明し、平均的学習曲線を導出し、性能が共分散関数の固有値および変数間相関に強く依存することを示している。MLGPは、信頼区間を提供する一方で、テンソル回帰と同等またはそれ以上の性能を達成している。

ABSTRACT

Low-rank tensor regression, a new model class that learns high-order correlation from data, has recently received considerable attention. At the same time, Gaussian processes (GP) are well-studied machine learning models for structure learning. In this paper, we demonstrate interesting connections between the two, especially for multi-way data analysis. We show that low-rank tensor regression is essentially learning a multi-linear kernel in Gaussian processes, and the low-rank assumption translates to the constrained Bayesian inference problem. We prove the oracle inequality and derive the average case learning curve for the equivalent GP model. Our finding implies that low-rank tensor regression, though empirically successful, is highly dependent on the eigenvalues of covariance functions as well as variable correlations.

研究の動機と目的

• 低ランクテンソル回帰とガウス過程の理論的リンクを、多様なデータ解析の文脈で確立すること。
• 予測不確実性を信頼区間で提供するテンソル回帰の確率的同等物を開発すること。
• 提案モデルの理論的性質を分析すること。特に、オラクル不等式と平均的学習曲線を含む。
• 多タスク学習、空間時系列予測、多出力回帰などの実世界応用においてモデルを検証すること。
• テンソル回帰の性能が、共分散関数の固有値およびタスク間相関に根本的に依存することを示すこと。

提案手法

• 低ランクテンソル回帰の確率的拡張として、多線形ガウス過程（MLGP）を提案する。
• テンソル回帰における低ランク制約が、MLGPにおける制約付きベイジアン推論問題に対応することを示す。
• テンソル構造から導出された多線形カーネルを用いて、MLGPモデルを定式化する。
• MLGPモデルに対するオラクル不等式を証明し、一般化性能を確立する。
• MLGPの平均的学習曲線を導出し、標本複雑度および固有値への依存度を定量的に評価する。
• 多線形多タスク学習、空間時系列予測、為替レート予測の実世界データセットにモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータの文脈において、低ランクテンソル回帰とガウス過程はどのように関連しているか？
• RQ2 テンソル回帰における低ランク制約は、ベイジアン推論の一形態として解釈可能か？
• RQ3 得られたガウス過程モデルの理論的性能保証は何か？
• RQ4 モデルの性能は、共分散関数の固有値およびタスク間相関にどのように依存するか？
• RQ5 提案されたMLGPモデルは、予測不確実性を提供しつつ、テンソル回帰と同等またはそれ以上の性能を達成できるか？

主な発見

• MLGPは、4つの空間時系列予測データセットにおいて、最先端のテンソル回帰手法と同等またはそれ以上の予測精度を達成しており、グリーディアルゴリズムと同等の性能を示している。
• MLGPから得られる予測分散は、実世界のデータにおいて有効な信頼区間を提供しており、これは標準的なテンソル回帰では得られない。
• 為替レートの多出力回帰において、MLGPはMSE 0.0563を達成し、低ランクテンソル回帰（0.0657）を上回り、MOGP（0.0301）に近い性能を示している。
• モデルは、例えば積雪深の予測では山岳地帯で高い不確実性、気温や降水量の予測では安定した気候帯で低い不確実性を示す、意味のある空間的パターンを明らかにしている。
• 理論的分析により、MLGPの性能が共分散関数の固有値および変数間相関構造に強く依存することが確認された。
• MLGPは、補完処理を必要としないため、MOGPよりも著しく高速であり、実世界の応用においてよりスケーラブルである。