[論文レビュー] Recurrent Attentive Neural Process for Sequential Data

Shenghao Qin, Jiacheng Zhu+3 more|arXiv (Cornell University)|Oct 17, 2019

Neural Networks and Applications参考文献 33被引用数 23

ひとこと要約

この論文では、逐次データにおける時間的順序と不確実性を同時に捉えるために、注意メカニズムを備えたニューラルプロセス（ANP）と再帰的ニューラルネットワーク（RNN）を統合した新規モデル、再帰的注意型ニューラルプロセス（RANP）を提案する。ANPの不確実性認識とメタラーニングの能力と、RNNの逐次的インダクティブバイアスを組み合わせることで、1次元回帰および自動運転のトラジェクトリ予測において、NPs、ANPs、LSTMsを凌駕する高い精度と予測不確実性のモデリング性能を達成した。

ABSTRACT

Neural processes (NPs) learn stochastic processes and predict the distribution of target output adaptively conditioned on a context set of observed input-output pairs. Furthermore, Attentive Neural Process (ANP) improved the prediction accuracy of NPs by incorporating attention mechanism among contexts and targets. In a number of real-world applications such as robotics, finance, speech, and biology, it is critical to learn the temporal order and recurrent structure from sequential data. However, the capability of NPs capturing these properties is limited due to its permutation invariance instinct. In this paper, we proposed the Recurrent Attentive Neural Process (RANP), or alternatively, Attentive Neural Process-RecurrentNeural Network(ANP-RNN), in which the ANP is incorporated into a recurrent neural network. The proposed model encapsulates both the inductive biases of recurrent neural networks and also the strength of NPs for modelling uncertainty. We demonstrate that RANP can effectively model sequential data and outperforms NPs and LSTMs remarkably in a 1D regression toy example as well as autonomous-driving applications.

研究の動機と目的

• ニューラルプロセス（NPs）が固有の順列不変性を有するため、時間的順序や再帰的構造を捉えることができないという限界を解消すること。
• 標準的なLSTMが、逐次的タスクにおける時間的伝搬不確実性をモデル化できないという問題を克服すること。
• NPsの不確実性認識とメタラーニングの能力と、RNNの逐次的モデリングの強みを統合した包括的なフレームワークを構築すること。
• 自動運転などの実世界の応用において、限られた観測から連続的で時間順序のあるダイナミクスを効果的に学習できること。
• 複雑な逐次データを、正確な予測と適切にキャリブレーションされた不確実性推定の両方でモデル化する優れた性能を示すこと。

提案手法

• RANPは、再帰的ニューラルネットワークアーキテクチャ内に注意メカニズムを備えたニューラルプロセス（ANP）を統合し、ANP-RNNモデルを構築する。
• RNNは逐次的な入力を段階的に処理し、時間的文脈を保持する隠れ状態を維持する。
• 各時刻において、RNNの隠れ状態がANPのグローバル潜在変数 $ z $ の条件付けに使用され、不確実性認識の予測が可能になる。
• ANP部は、関連する文脈点の重み付けを動的に可能にするため、文脈点とターゲットの相互作用を計算するためのアテンション機構を用いる。
• モデルは負の対数尤度（NLL）損失を用いて訓練され、ターゲット出力の平均と分散の両方の予測が可能になる。
• RNNとANPの両方のインダクティブバイアスを活用することで、少ない文脈点での新しいシーケンスへの一般化が可能となるメタラーニングをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルプロセスモデルは、時系列データにおける時間的順序と逐次的依存関係を効果的に捉えることができるか？
• RQ2 逐次的予測タスクにおいて、不確実性を時間的に効果的に伝搬・モデル化する方法は何か？
• RQ3 RNNのインダクティブバイアスとANPの不確実性認識能力を統合することで、単独のNPs、ANPs、LSTMsを上回る性能が得られるか？
• RQ4 提案されたモデルは、限られた文脈データで動作する少サンプルの逐次学習シナリオに一般化可能か？
• RQ5 再帰的フレームワーク内にアテンション機構を統合することで、予測の正確性と不確実性のキャリブレーションはどのように向上するか？

主な発見

• 1次元関数回帰タスクにおいて、RANPは局所的文脈行動とグローバル関数形状の両方を、適切にキャリブレーションされた不確実性とともに捉え、NP、ANP、LSTMを上回った。
• NGSIM自動運転データセットにおいて、RANP（ANP-LSTM変種）は横方向トラジェクトリ予測で平均絶対誤差（MAE）0.1673メートルを達成し、NP（92,778 m）とANP（7,024.45 m）を著しく下回った。
• RANPは負の対数尤度（NLL）が -0.0229 であり、適切にキャリブレーションされた予測分布であることを示した。一方、NPとANPは極めて高いNLL（203,882および353,693）を示した。
• LSTM単体では高いMSE（1.4500）を示し、分散を予測しない単一の平均値しか出力しないため、不確実性をモデル化できなかった。
• 定性的な分析では、RANPの予測は真値のトラジェクトリに密接に従っており、NPとANPは不確実性モデリングが不十分なため、過信的または不規則な予測を出力していた。
• モデルは、車両の複雑な相互作用ダイナミクスをLane-changingシナリオで効果的に捉え、実世界の逐次的意思決定タスクにおけるロバスト性を示した。