[論文レビュー] Non-linear Multitask Learning with Deep Gaussian Processes

Ayman Boustati, Theodoros Damoulas+1 more|arXiv (Cornell University)|May 29, 2019

Gaussian Processes and Bayesian Inference参考文献 37被引用数 13

ひとこと要約

本稿では、共有およびプライベートな潜在プロセスを非線形なマッピングで組み合わせることで、タスクをモデル化する非線形マルチタスク学習フレームワークを提案する。二重にストキャスティックな変分推論をマルチタスクDGP設定に拡張することで、複雑な非線形なタスク関係を捉え、ベンチマークおよび実世界のデータセットにおいて、線形マルチタスクGPモデルやニューラルネットワークを上回る性能を発揮する。特にデータが少ない状況下で顕著な優位性を示す。

ABSTRACT

We present a multi-task learning formulation for Deep Gaussian processes (DGPs), through non-linear mixtures of latent processes. The latent space is composed of private processes that capture within-task information and shared processes that capture across-task dependencies. We propose two different methods for segmenting the latent space: through hard coding shared and task-specific processes or through soft sharing with Automatic Relevance Determination kernels. We show that our formulation is able to improve the learning performance and transfer information between the tasks, outperforming other probabilistic multi-task learning models across real-world and benchmarking settings.

研究の動機と目的

• 既存のマルチタスクガウス過程モデルにおける線形なタスク依存性の仮定の限界を是正すること。
• 非線形で複雑な関係にあるタスク間で、有効な情報伝達を可能にすること。
• 不確実性の定量的評価を可能にするスケーラブルな確率的マルチタスク学習フレームワークを、深層潜在構造を用いて開発すること。
• 実用的な計算効率を実現するため、変分推論技術をマルチタスクDGP推論に拡張すること。
• 限られた学習データを用いた実世界およびベンチマークデータセットにおけるモデルの優位性を実証的に検証すること。

提案手法

• モデルは、マルチタスクデータを表現するために共有およびタスク固有の潜在プロセスを有する階層的DGPアーキテクチャを用いる。
• 非線形なタスク関係は、最終のGP層によって、共有およびプライベートな潜在関数を非線形に組み合わせることでモデル化される。
• 2つのセグメンテーション戦略が提案される：共有およびプライベートプロセスのハードコーディングによる分離、および自動関連決定（ARD）カーネルを用いたソフト共有。
• 推論は、二重にストキャスティックな変分推論フレームワークのマルチタスク拡張を用いて実施され、大規模データセットにおけるスケーラブルなトレーニングが可能になる。
• 実装はGPflowを用い、再現性のためGitHubに公開されている。
• ベイジアンノンパラメトリックモデリングを通じて、不確実性の定量的評価と頑健な一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ガウス過程モデルは、非線形で複雑な関係を持つ関連タスク間の非線形関係を、マルチタスク学習において効果的に捉えることができるか？
• RQ2 提案された非線形マルチタスクDGP定式化は、線形マルチタスクGPモデルと比較して、予測性能および一般化能力においてどのように異なるか？
• RQ3 共有潜在プロセスは、情報伝達を通じて、データが少ない状況下でどれほど性能向上に寄与するか？
• RQ4 提案された変分推論手法は、非線形で複雑な依存関係を有する実世界のマルチタスク問題に、実用的な計算効率でスケーリング可能か？
• RQ5 潜在空間のセグメンテーション戦略（ハード共有対ソフト共有）の違いが、モデルの性能および解釈可能性にどのように影響を与えるか？

主な発見

• 提案された非線形マルチタスクDGPモデルは、複雑な非線形タスク依存関係を有する合成トイデータセットにおいて、線形マルチタスクGPモデル（ICM-GPおよびコアジオナル化GPを含む）を上回った。
• FAIMS糖尿病診断データセットでは、3つのタスクの平均AUC（ROC）が0.78に達し、iRFベースライン（0.71）および他のGPベースのモデルを顕著に上回った。
• sMDGPおよびmMDGPバージョンは、個々のタスクで最高のAUC（0.80）を達成し、全タスクにおいてiGP、cGP、およびiDGPを一貫して上回った。
• UCIベンチマークデータセットにおいても、一般化性能が向上し、線形モデルと比較して負のトランスファーが減少した。
• マルチタスクDGPフレームワークは、CPU上で高速な推論時間を達成しており、実世界の応用に実用的であることが示された。
• FAIMSのようなスパースで高次元のデータにおいて、共有潜在プロセスによる表現学習と情報共有が、性能向上に不可欠であることが示された。