[論文レビュー] Kernel-Based Just-In-Time Learning for Passing Expectation Propagation Messages

Wittawat Jitkrittum, Arthur Gretton+5 more|arXiv (Cornell University)|Mar 9, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用数 10

ひとこと要約

本稿では、計算コストの高いメッセージ積分を高速で不確実性を考慮した回帰モデルに置き換える、期待値伝搬（EP）のためのカーネルベースのジャストインタイム（KJIT）学習手法を提案する。再生核ヒルバート空間（RKHS）における二段階のランダム特徴表現を用いることで、KJITは効率的なオンライン更新と信頼性の高い不確実性推定を可能にし、モデルが不確実性を感じた場合にのみオラクルに問い合わせることで、標準EPや先行学習ベースの手法よりも低い計算コストで高い精度を達成する。

ABSTRACT

We propose an efficient nonparametric strategy for learning a message operator in expectation propagation (EP), which takes as input the set of incoming messages to a factor node, and produces an outgoing message as output. This learned operator replaces the multivariate integral required in classical EP, which may not have an analytic expression. We use kernel-based regression, which is trained on a set of probability distributions representing the incoming messages, and the associated outgoing messages. The kernel approach has two main advantages: first, it is fast, as it is implemented using a novel two-layer random feature representation of the input message distributions; second, it has principled uncertainty estimates, and can be cheaply updated online, meaning it can request and incorporate new training data when it encounters inputs on which it is uncertain. In experiments, our approach is able to solve learning problems where a single message operator is required for multiple, substantially different data sets (logistic regression for a variety of classification problems), where it is essential to accurately assess uncertainty and to efficiently and robustly update the message operator.

研究の動機と目的

• 解析的解が得られない場合に生じる期待値伝搬（EP）メッセージ更新の高い計算コストに対処すること。
• 閉形式積分を必要とせず、非パラメトリックで高速かつ不確実性を考慮したEPにおけるメッセージ演算子の学習手法を開発すること。
• 予測不確実性を用いてオラクル問い合わせをトリガーする、オンラインでジャストインタイムに学習を可能にする仕組みを提供すること。
• ニューラルネットワークやランダムフォレストといった先行手法の限界を克服し、根拠のある不確実性推定と効率的なオンライン更新を提供すること。
• ロジスティック回帰を含む多様なベイズモデル（複数のUCIデータセット）において、精度の損失が最小限で、著しい高速化を達成することを示すこと。

提案手法

• 本手法は、入力を特徴カーネルを用いて再生核ヒルバート空間（RKHS）に埋め込むことで、メッセージ演算子の学習を分布回帰問題として定式化する。
• 新規の二段階ランダム特徴表現を採用する：まず、入力分布をランダムフォアーリエ特徴でマッピングし、次に、原始空間における回帰のための第二段階のランダム特徴を用いることで、高速な予測と更新を実現する。
• 回帰モデルはガウス過程として実装され、各出力メッセージに対して妥当な予測不確実性推定を提供する。
• 不確実性推定がオンライン学習を制御する：モデルが高不確実性で予測する場合、正確なEPオラクルから新しい学習ペアを問い合わせ、適応的でジャストインタイムの改善が可能になる。
• モデルは重要度サンプリングにより生成されたミニバッチの入出力メッセージペアで学習され、新しい不確実な予測が生じる度に段階的に更新される。
• 本手法はEPの要因ノードに適用され、標準的な多次元積分を、異なるデータ分布に一般化可能な学習済みの非パラメトリックマッピングに置き換える。

実験結果

リサーチクエスチョン

• RQ1 閉形式積分を必要とせず、非パラメトリックでカーネルベースの回帰モデルが、期待値伝搬（EP）におけるメッセージ演算子を信頼性を持って学習できるか？
• RQ2 このようなモデルが、推論中に効果的なジャストインタイムのオラクル問い合わせを誘導する根拠ある不確実性推定を提供できるか？
• RQ3 提案手法が、多様なベイズモデルにおいて正確なEPと同等の精度を達成しながら、著しく計算コストを削減できるか？
• RQ4 本手法のカーネルベースの不確実性推定は、特に分布外設定において、ランダムフォレストのヒューリスティックな不確実性推定と比較してどのように異なるか？
• RQ5 オンライン更新により、分類データセットの切り替えなど、入力メッセージ分布の変化に効果的に適応できるか？

主な発見

• KJITは、Infer.NETをオラクルとして用いた正確な推論と整合性のある事後分布推定を達成し、複数のベイズモデルで高い精度を示した。
• 標準EPと比較して、推論時間を顕著に短縮した。学習問題が増えるに従い、オラクル問い合わせ回数が減少するため、計算コストも時間とともに低下した。
• 新しいデータセットに切り替えた直後、最初のEPイテレーション後に不確実性推定値が急激に上昇した。これは、分布シフトの即時の検出を示している。
• オラクルに問い合わせた後、不確実性が段階的に減少した。これは、オンライン学習によりモデルが新しいデータ分布に正常に適応したことを確認している。
• KJITは、4つのUCIバイナリ分類データセットにおいて、テストセットの分類精度を高い水準で維持しながら、推論時間を短縮した。標準EPおよび先行学習ベース手法を上回る性能を示した。
• 実験的結果から、KJITの不確実性推定は、特にランダムフォレストのヒューリスティック推定よりも、分布外状況でより頑健で情報量が多いことが明らかになった。