[論文レビュー] Meta-Learning Mean Functions for Gaussian Processes

Vincent Fortuin, Heiko Strathmann+1 more|arXiv (Cornell University)|Jan 23, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用数 20

ひとこと要約

本稿では、関連するメタタスク across で最適化することで、低データタスクにおける性能を向上させるために、ガウス過程（GPs）の平均関数をメタラーニングする手法を提案する。深層ニューラルネットワークを用いて平均関数をパrameter化し、実験的結果から、標準的なGPベースラインやカーネルのみをメタラーニングする手法に比べ、平均関数の学習が一貫して予測性能を向上させることを示している。特に、臨床的時間系列データを含む実世界の医療タスクにおいて顕著な効果を示した。

ABSTRACT

When fitting Bayesian machine learning models on scarce data, the main challenge is to obtain suitable prior knowledge and encode it into the model. Recent advances in meta-learning offer powerful methods for extracting such prior knowledge from data acquired in related tasks. When it comes to meta-learning in Gaussian process models, approaches in this setting have mostly focused on learning the kernel function of the prior, but not on learning its mean function. In this work, we explore meta-learning the mean function of a Gaussian process prior. We present analytical and empirical evidence that mean function learning can be useful in the meta-learning setting, discuss the risk of overfitting, and draw connections to other meta-learning approaches, such as model agnostic meta-learning and functional PCA.

研究の動機と目的

• 平均関数の学習は、事前知識を組み込む可能性を秘めているものの、メタラーニングにおけるガウス過程の分野で未だ十分に探求されていない課題に取り組む。
• カーネル学習のみで十分でない状況において、平均関数のメタラーニングが低データ環境における一般化性能を向上させることを調査する。
• 標準的な教師あり最適化とは異なり、複数の関連するタスクにわたるメタラーニングを活用することで、平均関数学習における過学習リスクを軽減する。
• 提案手法とMAML や関数型PCA といった既存のメタラーニングフレームワークとの関連を明らかにすることで、理論的基盤を強化する。
• データが限られるという大きな課題を抱える実世界の医療時間系列予測において、平均関数のメタラーニングの実用的有用性を示す。

提案手法

• 平均関数を深層ニューラルネットワークでパラメータライズすることで、柔軟でデータ駆動型の事前知識のエンコードを可能にする。
• メタタスクの集合における期待される負の対数尤度を最小化することで、平均関数のパラメータをメタラーニングによって最適化する。
• 各メタタスクが関連する分布からの小さなデータセットであり、ターゲットタスクが新しい低データタスクであるようなメタラーニングフレームワークを採用する。
• 内側のループで各メタタスクに対してガウス過程の推論を実行し、外側のループで勾配降下法によりメタパラメータを更新する二段階最適化スキームを用いて平均関数を訓練する。
• メタラーニングされた平均関数とメタラーニングされたカーネル関数を組み合わせ、統合的な事前分布の学習により柔軟性と性能を向上させる。
• 本手法を合成ベンチマークおよびPhysioNet 2012チャレンジから得た実世界の医療時間系列データに適用し、RMSE や MAE といった標準的な評価指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程の平均関数をメタラーニングすることで、標準的なGPやカーネルのみを学習するメタラーニング手法に比べ、低データ予測タスクにおける性能が向上するか？
• RQ2 標準的な教師あり学習と比較して、メタラーニング設定下での平均関数学習における過学習リスクは何か？
• RQ3 カーネル関数のメタラーニングと比較して、平均関数のメタラーニングが特に有益となる条件は何か？
• RQ4 本手法は、MAML や関数型PCA といった既存のメタラーニングフレームワークとどのように関連しているか？
• RQ5 平均関数のメタラーニングは、データが限られるという大きな課題を抱える実世界の高影響力アプリケーション、特に医療時間系列予測において一貫した向上をもたらすか？

主な発見

• 平均関数のメタラーニングは、固定またはカーネルのみを学習した事前分布を備えたGPモデルに比べ、ベンチマーク回帰タスクにおいて一貫して優れた性能を示し、RMSE および MAE に顕著な改善をもたらした。
• PhysioNet 2012 医療時間系列データセットでは、平均関数をメタラーニングしたモデルが、カーネルのみまたは固定平均のベースラインに比べ、より低いRMSE（例：BUN では 1.58 ± 0.10）を達成した。
• 標準的な教師あり最適化に比べ、平均関数の学習における過学習リスクが低減されており、メタタスク全体にわたる安定した性能が実証された。
• 実験的結果から、平均関数とカーネル関数の両方を学習することで最良の性能が得られ、平均関数が予測精度に顕著な寄与をしていることが示された。
• 合成関数や実世界の臨床データを含む多様なタスクにおいて、本手法は顕著な実証的利得を示し、一般化可能性を裏付けた。
• MAML や関数型PCA との理論的および実証的関連性から、平均関数のメタラーニングが、メタラーニングにおけるインダクティブバイアス伝達の一般的な原則と整合していることが示唆された。