[論文レビュー] Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance

Neal Jean, Sang Michael Xie+1 more|arXiv (Cornell University)|May 26, 2018

Gaussian Processes and Bayesian Inference被引用数 23

ひとこと要約

本稿では、予測分散を事後正則化枠組み内で最小化することで予測性能を向上させる半教師あり深層カーネル学習（SSDKL）を提案する。この手法は、深層ニューラルネットワークとガウス過程を組み合わせることで、ラベルなしデータを活用する。SSDKLは、実世界の回帰タスクにおいて最先端の結果を達成し、教師あり深層カーネル学習やVAT や Mean Teacher といった半教師ありベースラインを上回る性能を示す。

ABSTRACT

Large amounts of labeled data are typically required to train deep learning models. For many real-world problems, however, acquiring additional data can be expensive or even impossible. We present semi-supervised deep kernel learning (SSDKL), a semi-supervised regression model based on minimizing predictive variance in the posterior regularization framework. SSDKL combines the hierarchical representation learning of neural networks with the probabilistic modeling capabilities of Gaussian processes. By leveraging unlabeled data, we show improvements on a diverse set of real-world regression tasks over supervised deep kernel learning and semi-supervised methods such as VAT and mean teacher adapted for regression.

研究の動機と目的

• ラベル付きデータが限られている回帰タスクにおける課題を、豊富なラベルなしデータを活用することで解決すること。
• ラベル付きデータを多く必要としない半教師あり深層カーネル学習フレームワークを構築し、一般化性能を向上させること。
• 深層ニューラルネットワークによる階層的表現学習と、ガウス過程による確率的モデリングを統合すること。
• 半教師あり学習の正則化機構として、事後分布における予測分散の最小化を実現すること。
• 多様な実世界の回帰ベンチマークにおいて一貫した性能向上を実証すること。

提案手法

• SSDKLは、ラベルなしデータポイントにおける予測分散を最小化することで不確実性推定を改善する、事後正則化フレームワークを採用する。
• 階層的特徴表現のための深層ニューラルネットワークと、確率的回帰および不確実性評価のためのガウス過程を統合する。
• モデルはラベル付きデータとラベルなしデータの両方を用いてエンドツーエンドで訓練され、ラベルなしサンプルの予測分散が正則化子として機能する。
• 関数の事後分布を近似するために変分推論アプローチを用い、不確実性を考慮した予測を可能にする。
• VAT や Mean Teacher といった半教師あり手法を回帰に適応させるために、目的関数を予測分散の最小化に再定義する。
• このフレームワークは回帰と不確実性推定の両方をサポートしており、データが少ない応用に適している。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータにおける予測分散の最小化は、深層カーネル学習における回帰性能の向上に寄与するか？
• RQ2 SSDKLは、教師あり深層カーネル学習や既存の半教師あり手法と比較して、回帰タスクにおいてどのように性能を発揮するか？
• RQ3 ラベルなしデータは、回帰モデルの不確実性推定と一般化性能をどの程度向上させ得るか？
• RQ4 ラベル付きデータが限られている状況で、深層ニューラルネットワークとガウス過程の統合は性能向上に寄与するか？
• RQ5 分類ベースの半教師あり手法から派生する予測分散正則化機構は、回帰に効果的に適応可能か？

主な発見

• SSDKLは、多様な実世界の回帰データセットにおいて、教師あり深層カーネル学習を一貫して上回る性能向上を達成する。
• VAT や Mean Teacher といった半教師ありベースラインを回帰タスクに適応した場合、SSDKLはそれらを上回る性能を示す。
• ラベルなしデータにおける予測分散の最小化は、より頑健でキャリブレーションされた不確実性推定をもたらす。
• 深層ニューラルネットワークとガウス過程の統合により、ラベルなしデータの有効活用が回帰に可能になる。
• 限られたラベル付きデータでもSSDKLは強力な一般化能力を示し、予測分散正則化の有効性を裏付ける。
• 本手法はベンチマーク回帰タスクで最先端の結果を達成し、データが少ない環境下での有効性を検証した。