[論文レビュー] Accurate and Diverse Sampling of Sequences Based on a ``Best of Many'' Sample Objective

Apratim Bhattacharyya, Bernt Schiele+1 more|arXiv (Cornell University)|Jan 1, 2018

Time Series Analysis and Forecasting参考文献 26被引用数 26

ひとこと要約

本論文は、マルチモーダルな不確実性下でも精度と多様性を向上させるために、ガウス型潜在変数モデルにおける「ベストオブマニ」（BMS）サンプル目的関数を提案する。重要度サンプリングを用い、共同で学習されたプロポーザル分布を通じて、訓練時と推論時の分布シフトを低減する。この手法は、トラジェクトリ予測、MNISTのストローク補完、気象レーダー予測のタスクにおいて、標準的なCVAEおよび最先端手法を上回る性能を発揮する。

ABSTRACT

For autonomous agents to successfully operate in the real world, anticipation of future events and states of their environment is a key competence. This problem has been formalized as a sequence extrapolation problem, where a number of observations are used to predict the sequence into the future. Real-world scenarios demand a model of uncertainty of such predictions, as predictions become increasingly uncertain -- in particular on long time horizons. While impressive results have been shown on point estimates, scenarios that induce multi-modal distributions over future sequences remain challenging. Our work addresses these challenges in a Gaussian Latent Variable model for sequence prediction. Our core contribution is a "Best of Many" sample objective that leads to more accurate and more diverse predictions that better capture the true variations in real-world sequence data. Beyond our analysis of improved model fit, our models also empirically outperform prior work on three diverse tasks ranging from traffic scenes to weather data.

研究の動機と目的

• 標準的なCVAE目的関数がマルチモーダルで不確実な将来のシーケンスをモデル化する際の限界を解消すること。
• 条件付きシーケンス生成における訓練時とテスト時の潜在変数分布の分布シフトを低減すること。
• 実世界の不確実性を内蔵する状況下で、生成シーケンスの精度と多様性を向上させること。
• 複雑でマルチモーダルな将来を持つフルフレームの動画シーケンスにまで、条件付き生成モデルの適用範囲を拡張すること。
• 合成ベンチマークを越える多様で現実世界のシーケンス予測タスクにおいて、本手法の実証的妥当性を検証すること。

提案手法

• 訓練中に複数の生成シーケンスからスコアが最も高いものを選ぶ「ベストオブマニ」（BMS）サンプル目的関数を新たに提案する。
• 直接事前分布からサンプリングを避けるために、共同で学習されたプロポーザル分布を用いた重要度サンプリングにより、モデル更新の分散を低減する。
• 真のデータ尤度をより良く近似するために、複数のサンプルを組み込み、重要度重みを用いて重み付けする変分下界の変種を採用する。
• LSTMまたはConv-LSTMを用いたエンコーダ・デコーダアーキテクチャを備えた、ガウス型潜在変数を用いた条件付きVAEフレームワークを採用する。
• 連続的潜在変数を伴う状況下でも効率的な確率的最適化を可能にする再パラメータ化トリックを導入する。
• 認識ネットワークが真のデータ分布に一致する高尤度かつ多様なサンプルを生成するよう促進するBMS目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 修正されたサンプル目的関数は、マルチモーダルな不確実性下でのシーケンス予測において、精度と多様性の両方を向上させることができるか？
• RQ2 訓練時とテスト時の潜在変数分布の分布シフトを低減することで、条件付きシーケンス生成における一般化性能が向上するか？
• RQ3 BMS目的関数は、動画や時系列データを含む多様な現実世界のシーケンス予測タスクに効果的に適用可能か？
• RQ4 予測性能およびサンプル品質の観点から、BMS目的関数は標準的なCVAEおよび他のマルチサンプル目的関数と比べてどのように差をつけるか？
• RQ5 複雑でマルチモーダルな状況下で、BMS目的関数はモデルの適合度を向上させ、真のデータ分布をどれほどよく捉えるか？

主な発見

• BMS目的関数は、訓練時とテスト時の潜在変数分布をより良く一致させることで、モデルの適合度を著しく向上させ、分布シフトを低減する。
• スタンフォードドローンデータセットでは、LSTM-BMSモデルがEuclidean距離（1.84 px）とCLL指標（0.45）の両面でDESIRE-SI-IT4およびLSTM-CVAEを上回り、より高い精度と尤度推定性能を示した。
• MNISTのストローク補完タスクでは、BMSモデルが再構成誤差を低く抑え、ベースラインと比較してより多様かつ現実的と思われるストローク補完を生成した。
• HKO気象レーダー・データセットでは、Conv-LSTM-BMSモデルが、先行研究と比較してより高いCLL（1.28）、CSI（0.62）、POD（0.81）といった降水予測指標を達成した。
• 定性的な結果から、BMSモデルの上位10％のサンプルは、より正確で多様であり、シーンのレイアウトや物理的妥当性にも適切に従っていることが示された。
• 本手法は、トラジェクトリ予測、画像シーケンス生成、気象予測という3つの多様なタスクにおいて、標準的なCVAEおよび最先端手法を一貫して上回った。