[論文レビュー] DynaNet: Neural Kalman Dynamical Model for Motion Estimation and Prediction

Changhao Chen, Chris Xiaoxuan Lu+3 more|arXiv (Cornell University)|Aug 11, 2019

Robotics and Sensor-Based Localization参考文献 60被引用数 7

ひとこと要約

DynaNetは、特徴抽出に深層ニューラルネットワークを、ロバストな運動推定と予測に時変状態空間モデルを組み合わせたエンドツーエンド微分可能なニューラルカルマン動的モデルを提案する。潜在特徴上に学習可能なカルマンフィルタを統合することで、視覚オドメトリ、視覚慣性ナビゲーション、運動予測の分野で最先端の性能を達成するとともに、イノベーション解析による不確実性推定と障害検出を可能にする。

ABSTRACT

Dynamical models estimate and predict the temporal evolution of physical systems. State Space Models (SSMs) in particular represent the system dynamics with many desirable properties, such as being able to model uncertainty in both the model and measurements, and optimal (in the Bayesian sense) recursive formulations e.g. the Kalman Filter. However, they require significant domain knowledge to derive the parametric form and considerable hand-tuning to correctly set all the parameters. Data driven techniques e.g. Recurrent Neural Networks have emerged as compelling alternatives to SSMs with wide success across a number of challenging tasks, in part due to their ability to extract relevant features from rich inputs. They however lack interpretability and robustness to unseen conditions. In this work, we present DynaNet, a hybrid deep learning and time-varying state-space model which can be trained end-to-end. Our neural Kalman dynamical model allows us to exploit the relative merits of each approach. We demonstrate state-of-the-art estimation and prediction on a number of physically challenging tasks, including visual odometry, sensor fusion for visual-inertial navigation and pendulum control. In addition we show how DynaNet can indicate failures through investigation of properties such as the rate of innovation (Kalman Gain).

研究の動機と目的

• 純粋にデータ駆動のモデル（例：解釈可能性の欠如やロバスト性の不足）および手作業で設計された状態空間モデル（例：高いチューニング作業量と柔軟性の欠如）が運動推定タスクに及ぼす制限を解消すること。
• 深層ニューラルネットワークの特徴表現力とカルマンフィルタの物理的解釈可能性および最適フィルタリングの両方を組み合わせたハイブリッドフレームワークの開発。
• 画像やIMUデータなどの生のセンサ入力から直接、時変状態空間モデルをエンドツーエンドで訓練可能にする。
• カルマンフィルタの性質（例：イノベーションレート）を活用して、不確実性認識の状態推定と障害検出を可能にする。
• 視覚オドメトリや視覚慣性統合を含む、挑戦的な運動推定タスクにおける有効性の実証。

提案手法

• モデルは、画像シーケンスから視覚特徴を抽出するための畳み込みニューラルネットワーク（CNN）エンコーダと、インertialデータを処理する双向LSTMを用い、両者とも潜在表現を出力する。
• 別個のニューラルネットワークが、潜在状態から時変遷移行列Aとプロセスノイズ共分散Qを生成し、動的システムモデルの構築を可能にする。
• 観測特徴とそのノイズ共分散Rは別個のニューラルヘッドによって予測され、適応的測定モデルの構築を可能にする。
• 潜在特徴空間に微分可能なカルマンフィルタを適用し、状態と状態共分散を再帰的に推定することで、フィルタを介した逆誤差伝搬が可能になる。
• ポーズ予測器は、全結合層を用いてフィルタリング済みの潜在状態を運動出力（例：6次元ポーズ）にデコードする。
• 全モデルは、ポーズ推定の教師あり損失を用いてエンドツーエンドで訓練され、不確実性とイノベーション指標は障害分析に用いられる。

実験結果

リサーチクエスチョン

• RQ1 微分可能なカルマンフィルタを深層学習アーキテクチャに効果的に統合することで、運動推定のためのエンドツーエンド訓練が可能になるか？
• RQ2 学習可能な時変状態空間モデルは、従来の手作業で設計されたSSMや純粋なDNNと比較して、運動推定タスクでどの程度の性能を示すか？
• RQ3 カルマンフィルタのイノベーションレートは、実世界のセンサデータにおけるシステム障害や不確実性の信頼できる指標として機能するか？
• RQ4 ハイブリッドモデルは、視覚オドメトリおよび視覚慣性ナビゲーションにおいて、どの程度のロバスト性と精度の向上を実現するか？
• RQ5 モデルは、解釈可能性と不確実性認識を維持したまま、未観測の条件下でも一般化可能か？

主な発見

• DynaNetはKITTI視覚オドメトリベンチマークで最先端の性能を達成し、純粋なDNNベースラインおよび古典的なSSMベースの手法を上回った。
• 不確実性認識フィルタリング機構のおかげで、センサノイズや部分的オクルージョンに対して優れたロバスト性を示した。
• 障害検出は、カルマンフィルタのイノベーションレートの分析によって実現され、システム障害や異常発生時には顕著に増加した。
• モデルは、微分可能でエンドツーエンドな方法で視覚と慣性データを融合し、視覚慣性オドメトリタスクの精度を向上させた。
• 学習されたプロセスノイズ共分散Qと時変遷移行列Aの使用により、モデルは動的変化に応じて動的に適応可能となり、長期的な安定性が向上した。
• 定量的評価では、KITTIシーケンスにおいてベースラインモデル比で絶対軌道誤差（ATE）が15–20％改善され、ロバスト性の向上が顕著に確認された。