[論文レビュー] Leveraging arbitrary mobile sensor trajectories with shallow recurrent decoder networks for full-state reconstruction

Megan R. Ebers, Jan P. Williams+2 more|arXiv (Cornell University)|Jul 20, 2023

Target Tracking and Data Fusion in Sensor NetworksComputer Science被引用数 3

ひとこと要約

本稿では、希な動的測定値から空間的・時間的状態を再構成するために、モバイルセンサーの軌道を利用する浅い再帰的デコーダー・ネットワーク（SHRED）を提案する。時間的センサー履歴を低次元の潜在空間に符号化することで、SHREDは優れた再構成精度と一般化性能を達成し、平均二乗誤差の分散を低減し、未学習データへの迅速な適応が可能となる。これは、乱流、海面水温、およびヒトのバイオメカニクスの分野で実証された。

ABSTRACT

Sensing is one of the most fundamental tasks for the monitoring, forecasting and control of complex, spatio-temporal systems. In many applications, a limited number of sensors are mobile and move with the dynamics, with examples including wearable technology, ocean monitoring buoys, and weather balloons. In these dynamic systems (without regions of statistical-independence), the measurement time history encodes a significant amount of information that can be extracted for critical tasks. Most model-free sensing paradigms aim to map current sparse sensor measurements to the high-dimensional state space, ignoring the time-history all together. Using modern deep learning architectures, we show that a sequence-to-vector model, such as an LSTM (long, short-term memory) network, with a decoder network, dynamic trajectory information can be mapped to full state-space estimates. Indeed, we demonstrate that by leveraging mobile sensor trajectories with shallow recurrent decoder networks, we can train the network (i) to accurately reconstruct the full state space using arbitrary dynamical trajectories of the sensors, (ii) the architecture reduces the variance of the mean-square error of the reconstruction error in comparison with immobile sensors, and (iii) the architecture also allows for rapid generalization (parameterization of dynamics) for data outside the training set. Moreover, the path of the sensor can be chosen arbitrarily, provided training data for the spatial trajectory of the sensor is available. The exceptional performance of the network architecture is demonstrated on three applications: turbulent flows, global sea-surface temperature data, and human movement biomechanics.

研究の動機と目的

• 希な、モバイルセンサーによる測定データしか入手できない状況において、高次元の空間的・時間的状態を再構成する課題に対処すること。
• 時間的履歴を無視し、現在の測定値にのみ依存する従来のモデルフリーなセンシング手法の限界を克服すること。
• センサーの軌道履歴を活用して、グローバルなシステムダイナミクスを符号化するデータ駆動型アーキテクチャを開発し、より優れた状態推定を実現すること。
• 基礎となるダイナミクスの事前知識がなくても、未学習データや任意のセンサー軌道に対して頑健な一般化を可能にすること。
• 乱流やバイオメカニカルな運動など、多様で高次元的かつ非線形なシステムにおいて、本手法の有効性を実証すること。

提案手法

• 時間的センサー測定履歴を低次元の潜在空間に符号化するために、シーケンスからベクトルへの長短期記憶（LSTM）ネットワークを採用する。
• 浅いデコーダー・ネットワークを用いて、潜在表現を高次元システムの完全な状態推定にマッピングする。
• センサー軌道とそれに対応する完全なシステム状態データのペairedデータを用いて、アーキテクチャをエンドツーエンドで学習する。
• 推論時においては、トレーニング時に軌道データが利用可能であれば、任意のセンサー軌道を許容する。
• 空間的・時間的結合性を活用し、センサーの移動によって、連続的な観測を通じて隣接およびグローバルなシステム特徴をサンプリングする。
• 実際の高次元状態データが入手できない場合に備え、シミュレーションデータを代替として用い、ハイブリッドトレーニングを可能にする。

Figure 1: Summary figure of a shallow recurrent decoder network (SHRED) leveraging mobile sensors to reconstruct full state-space estimates from sparse dynamical trajectories. (Left) Sensor trajectory history encodes global information of the spatio-temporal dynamics of the sparsely measured system.

実験結果

リサーチクエスチョン

• RQ1 深層学習アーキテクチャを用いて、時間的履歴を活用することで、希なモバイルセンサー測定値から完全な空間的・時間的状態を再構成できるか？
• RQ2 SHREDを用いたモバイルセンシングの性能は、固定センサーと比較して再構成誤差および分散の面で優れているか？
• RQ3 SHREDアーキテクチャは、訓練分布外のデータ、特に新しい人物や未観測のダイナミクスに対して、どの程度一般化できるか？
• RQ4 センサーの軌道の形状が、状態再構成の品質に影響を与えるか？また、任意の軌道を効果的に使用できるか？
• RQ5 実際の高次元状態データが入手できない場合、シミュレーションデータがSHREDモデルのトレーニングに有効に機能するか？

主な発見

• SHREDは、固定センサーと比較して再構成の平均二乗誤差の分散を低減し、より高いロバスト性を示した。
• 1つのモバイルセンサーを用いて、ヒトのバイオメカニクスデータセットで再構成誤差が 0.121 ± 0.073 度にまで低下した—これは標準的な密接続ネットワーク（SDN）の9.8倍、線形モデルの14.8倍も高い精度である。
• 本アーキテクチャは、訓練済みの集団レベルのモデルを用いて、新しい患者のパラメータを推定するなど、分布外データへの迅速な一般化を可能にした。
• SHREDは、トレーニングデータにその対応する軌道パスが含まれていれば、任意のセンサー軌道に対して効果的に一般化できる。
• 浅いデコーダー構造は、より少ないトレーニングデータで済み、ハイパーパramータチューニングに対しても頑健であるため、最小限の設定で高い性能を発揮できる。
• 本手法は、ポテンシャルオルソゴナル分解（POD）のような古典的手法を超えて非線形な一般化を実現し、潜在空間にマルチスケールの物理的特徴を効果的に捉えることができた。

Figure 2: (Top) Example flow fields to be reconstructed from the test set. (Bottom) Histograms of the difference between ground truth and reconstruction across all nodes and samples in the test set for immobile sensors (left) and mobile sensors (right). Both distributions are approximately zero mean