[論文レビュー] Predicting the Future Behavior of a Time-Varying Probability Distribution

Christoph H. Lampert|arXiv (Cornell University)|Jun 20, 2014

Anomaly Detection Techniques and Applications参考文献 29被引用数 4

ひとこと要約

本稿では、再帰的核ヒルバート空間（RKHS）におけるカーネル埋め込みとベクトル値回帰を用いて、時間変動する確率分布の次状態を予測する手法である Extrapolating Distribution Dynamics（EDD）を提案する。観測されたサンプル集合からダイナミクス作用素を学習することで、将来の分布の正確な予測が可能となり、将来データを必要とせずにドメイン適応における分類器性能を向上させ、DeCAF特徴量を用いたCarEvolutionデータセットで最大56.2%の精度を達成する。

ABSTRACT

We study the problem of predicting the future, though only in the probabilistic sense of estimating a future state of a time-varying probability distribution. This is not only an interesting academic problem, but solving this extrapolation problem also has many practical application, e.g. for training classifiers that have to operate under time-varying conditions. Our main contribution is a method for predicting the next step of the time-varying distribution from a given sequence of sample sets from earlier time steps. For this we rely on two recent machine learning techniques: embedding probability distributions into a reproducing kernel Hilbert space, and learning operators by vector-valued regression. We illustrate the working principles and the practical usefulness of our method by experiments on synthetic and real data. We also highlight an exemplary application: training a classifier in a domain adaptation setting without having access to examples from the test time distribution at training time.

研究の動機と目的

• 過去のサンプル集合のみが利用可能な状況で、時間変動する確率分布の次状態を予測する課題に対処すること。
• パラメトリックな形やドメイン固有の構造を仮定せずに、分布ダイナミクスを外挿する手法を開発すること。
• ターゲット時刻のラベル付きまたはラベルなしの例が入手できない状況でも、将来のデータ分布の分類器を訓練できること。
• テスト時データが訓練中に利用不可であるドメイン適応実験を通じて、実用的有効性を示すこと。

提案手法

• 特徴的カーネルを用いて、観測された各サンプル集合を再帰的核ヒルバート空間（RKHS）内での経験的カーネル平均埋め込みとして表現する。
• ベクトル値回帰を用いて、現在の分布の埋め込みを次の分布の埋め込みにマップする線形作用素をRKHSで学習する。
• 凸なサロゲート損失を用いた正則化最適化問題として学習問題を定式化し、標準的なSVMソルバを用いた効率的な訓練を可能にする。
• 学習されたダイナミクスを1ステップ前方に外挿し、観測されていない将来の分布の埋め込みを予測する。
• 任意で、ヒーディングを用いて予測された分布から新しいサンプル集合を生成し、下流タスク用の合成データセットを生成する。
• 予測された分布を用いて、将来のデータ分布に一般化可能な分類器（PredSVM）を訓練する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな形の事前知識がなく、過去のサンプル集合のみを用いて、時間変動する確率分布の次状態を予測できるか？
• RQ2 RKHS空間における学習されたダイナミクス作用素は、観測されたサンプル集合の系列から、将来の分布埋め込みをどの程度正確に外挿できるか？
• RQ3 テスト時データが訓練中に利用不可な状況で、予測された将来の分布はドメイン適応における分類器性能をどの程度向上できるか？
• RQ4 本手法は、長期間にわたる視覚的ドメインシフトのような、異なるデータタイプや分布シフトに対しても一般化可能か？

主な発見

• EDDは、合成データおよび実世界データの両方で、時間変動する系列における次分布の予測を測定可能な精度で実現した。
• CarEvolutionデータセットにおいて、DeCAF特徴量を用いたPredSVM分類器は、予測された分布を用いて56.2%の精度を達成し、すべてのベースラインを上回った。
• Fisherベクトルを用いた1990年代から2000年代への予測において、最高のベースラインよりも最大4.1ポイントの分類精度向上を達成した。
• DeCAF特徴量を用いた場合には、ドメインシフトが顕著でない状況でも効果的であることが示され、EDDの有効性が裏付けられた。
• 逆方向の予測（例：2010年代から1970年代を予測）を含む、さまざまな時間順序においても、本手法は安定した性能を示した。これは、学習されたダイナミクスが意味的な時間的進化を捉えていることを示している。
• 凸なサロゲート損失を用いたベクトル値回帰により、安定的かつスケーラブルな訓練が可能となり、予測データに適用した場合、標準SVMと同等の結果が得られた。