[論文レビュー] Particle Filter Recurrent Neural Networks

Xiao Ma, Péter Karkus+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Neural Network Applications参考文献 35被引用数 5

ひとこと要約

この論文は、潜在状態の分布を重み付きの粒子として維持することで不確実性をモデル化する、新しいRNNアーキテクチャ「粒子フィルタリカレントニューラルネットワーク（PF-RNN）」を紹介している。このアプローチにより、逐次データにおける信念の近似が向上する。PF-RNNは、エンドツーエンド学習が可能な完全微分可能な粒子フィルタリングアルゴリズムを用い、テキスト分類、株価予測、ロボット局在化といった多様な逐次予測タスクにおいて、標準的なRNN、ゲート付き変種、ベイジアンRNNを凌駕する性能を発揮する。

ABSTRACT

Recurrent neural networks (RNNs) have been extraordinarily successful for prediction with sequential data. To tackle highly variable and noisy real-world data, we introduce Particle Filter Recurrent Neural Networks (PF-RNNs), a new RNN family that explicitly models uncertainty in its internal structure: while an RNN relies on a long, deterministic latent state vector, a PF-RNN maintains a latent state distribution, approximated as a set of particles. For effective learning, we provide a fully differentiable particle filter algorithm that updates the PF-RNN latent state distribution according to the Bayes rule. Experiments demonstrate that the proposed PF-RNNs outperform the corresponding standard gated RNNs on a synthetic robot localization dataset and 10 real-world sequence prediction datasets for text classification, stock price prediction, etc.

研究の動機と目的

• 標準的なRNNが、非常に変動が大きく、マルチモーダルな逐次データをモデル化する際の限界を克服すること。
• 潜在ベクトルの次元数を増加させることなく、再帰的モデルにおける信念の近似を改善すること。
• 粒子フィルタリングの非パラメトリックな柔軟性とRNNの表現力の統合を図ること。
• 判別的逐次予測のための粒子ベース信念追跡をエンドツーエンド微分可能に訓練可能にする仕組みの構築。
• 実世界の逐次予測ベンチマークにおいて、標準RNN、ベイジアンRNN、アンサンブルを上回る性能を達成すること。

提案手法

• PF-RNNは、単一の決定論的ベクトルではなく、重み付きの粒子の集合として潜在状態を表現する。
• モデルは、ベイズの定理に従って粒子の重みと位置を更新する、完全に微分可能な粒子フィルタリングアルゴリズムを用いる。
• この手法はLSTMおよびGRUアーキテクチャに適用され、それぞれPF-LSTMおよびPF-GRUとして、即座に置き換え可能な形で実装される。
• 訓練では、精度と信念の質の両方を最適化するため、予測損失と下界の期待値（ELBO）損失を組み合わせる。
• 粒子の劣化を防ぎ、粒子集合の多様性を維持するために、ソフトリサンプリングが用いられる。
• 訓練の安定性と性能を向上させるために、バッチ正規化とReLU活性化関数が使用される。

実験結果

リサーチクエスチョン

• RQ1 粒子ベースの潜在状態表現は、逐次データにおけるRNNの信念近似を改善できるか？
• RQ2 微分可能な粒子フィルタは、判別的逐次予測のためのRNNのエンドツーエンド学習を効果的に可能にするか？
• RQ3 PF-RNNの性能は、標準RNN、ベイジアンRNN、およびモデルアンサンブルと比較してどうなるか？
• RQ4 粒子数、リサンプリング、およびアーキテクチャ的要素がPF-RNNの性能に与える影響は何か？
• RQ5 データの複雑さやモダリティが異なるタスク間で、PF-RNNは一般化可能か？

主な発見

• PF-RNNは、テキスト分類や株価予測を含む10の実世界の逐次予測データセットにおいて、標準的なLSTMおよびGRUモデルを上回る性能を示した。
• 合成ロボット局在化データセットでは、標準RNNと比較してPF-RNNが顕著に低い誤差を達成しており、不確実性の取り扱いの向上が裏付けられた。
• 30個の粒子を用いたPF-LSTMは、MRデータセットで平均予測精度93.28%を達成し、標準LSTMおよびベイジアンRNNを上回った。
• アブレーションスタディの結果、粒子数を増やすことで性能が向上し、すべてのデータセットでP30が最良の結果をもたらした。
• ソフトリサンプリングおよび予測損失とELBO損失の組み合わせにより、一貫した性能向上が得られ、ReLUとバッチ正規化の組み合わせは訓練の安定性を向上させた。
• 20件のケースのうち16件で、PF-RNNはRNNおよびベイジアンRNNのアンサンブルを上回り、優れた信念表現と一般化性能を示した。