[論文レビュー] Data-driven sensor placement with shallow decoder networks

Jan M. Williams, Olivia Zahn+1 more|arXiv (Cornell University)|Feb 10, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、QR分解を用いたグリーディー線形選択と浅層デコーダーネットワーク（SDN）を用いた非線形再構成を組み合わせることで、データ駆動型センサ配置手法Q-SDNを提案する。このハイブリッド手法は、特にセンサ数が少ない状況において、再構成精度とロバスト性を顕著に向上させ、流体力学的応用において、線形手法および非線形プルーニングベースの代替手法を上回ることを示している。

ABSTRACT

Sensor placement is an important and ubiquitous problem across the engineering and physical sciences for tasks such as reconstruction, forecasting and control. Surprisingly, there are few principled mathematical techniques developed to date for optimizing sensor locations, with the leading sensor placement algorithms often based upon the discovery of linear, low-rank sub-spaces and the QR algorithm. QR is a computationally efficient greedy search algorithm which selects sensor locations from candidate positions with maximal variance exhibited in a training data set. More recently, neural networks, specifically shallow decoder networks (SDNs), have been shown to be very successful in mapping sensor measurements to the original high-dimensional state space. SDNs outperform linear subspace representations in reconstruction accuracy, noise tolerance, and robustness to sensor locations. However, SDNs lack principled mathematical techniques for determining sensor placement. In this work, we develop two algorithms for optimizing sensor locations for use with SDNs: one which is a linear selection algorithm based upon QR (Q-SDN), and one which is a nonlinear selection algorithm based upon neural network pruning (P-SDN). Such sensor placement algorithms promise to enhance the already impressive reconstruction capabilities of SDNs. We demonstrate our sensor selection algorithms on two example data sets from fluid dynamics. Moreover, we provide a detailed comparison between our linear (Q-SDN) and nonlinear (P-SDN) algorithms with traditional linear embedding techniques (proper orthogonal decomposition) and QR greedy selection. We show that QR selection with SDNs enhances performance. QR even out-performs our nonlinear selection method that uses magnitude-based pruning. Thus, the combination of a greedy linear selection (QR) with nonlinear encoding (SDN) provides a synergistic combination.

研究の動機と目的

• データ駆動型システムにおけるセンサ位置最適化のための原理的で数学的な手法の欠如に取り組むこと。
• 最適なセンサ配置と非線形ディープラーニングの統合により、時空間的システムの再構成精度とノイズ耐性を向上させること。
• 非線形センサ選択におけるプルーニング手法が、実世界および合成的な流体力学的データセットにおいて、線形選択を上回る性能を示すかどうかを評価すること。
• グリーディー線形センサ選択（QR）と非線形再構成（SDN）を組み合わせることで、相乗効果的な性能向上が達成されることを示すこと。
• 物理科学および工学分野に応用可能な、計算的に効率的で実装が容易なセンサ配置フレームワークを提供すること。

提案手法

• 訓練データから低ランク基底を抽出するために、特異値分解（SVD）を用いた固有直交分解（POD）を実行し、状態空間の特化された表現を構築する。
• 列ピボット付きQR分解を適用して、訓練データにおける分散を最大化するセンサ位置を同定し、最適な線形センサ選択を保証する。
• スパースなセンサ測定値から高次元の状態空間への非線形写像を学習するために、浅層デコーダーネットワーク（SDN）を訓練する。
• 自己符号化器アーキテクチャのマグニチュードベースプルーニングを用いて非線形センサ選択手法を実装し、それを浅層デコーダーネットワークに簡略化する。
• Q-SDN（線形選択＋非線形再構成）の性能を、R-SDN（ランダムセンサ＋SDN）、P-SDN（プルーニングベース選択）、および従来の線形手法（POD、ギャッピードPOD）と比較する。
• 再構成誤差を主な評価指標として、センサ数やノイズレベルの変動に応じた性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 線形センサ選択（QR）と非線形再構成（SDN）を組み合わせたハイブリッド手法が、純粋な線形手法や非線形手法を上回る性能を示せるか？
• RQ2 SDNにおけるマグニチュードベースプルーニングによるセンサ選択が、実世界の流体力学的データにおいて、ランダム選択やQRベース選択を上回る性能を示せるか？
• RQ3 Q-SDNの性能は、特に低センサ数領域において、センサ数の増加に伴いどのようにスケーリングするか？
• RQ4 なぜマグニチュードベースプルーニングが海面水温データセットでは効果的なセンサ位置を特定できなかったのか、その理由と、このようなプルーニング戦略の限界を示唆する点は何か？
• RQ5 QRベース選択とSDN再構成の組み合わせが、ノイズ耐性および再構成精度の両面でどのように相乗効果をもたらすか、その程度はどの程度か？

主な発見

• Q-SDNは、低センサ数領域においてR-SDNおよび線形再構成手法を顕著に上回り、低ノイズのヴォーテックスシューティングケースでは、再構成誤差がQ-SDNの約2倍にまで達する。
• 3つのセンサのみでQ-SDNは最適な再構成精度を達成しており、3つを超えてセンサ数を増やしても改善は顕著でないため、効果的なセンサ選択が実現されている。
• Q-SDNが3つのセンサで達成する精度を再現するためには、R-SDNおよび線形手法では5倍のセンサ数が必要であったことから、Q-SDNのセンサ配置の効率性が顕著に示された。
• P-SDN（非線形プルーニングベース手法）は、海面水温データセットにおいて、ランダムセンサ配置でさえも下回り、データ内の低温（負の値）領域に偏ったバイアスが原因であった。
• マグニチュードベースプルーニングが効果的なセンサ位置を特定できない失敗は、このような手法が、変更を加えずに物理的知見を組み込んだセンサ配置に適さない可能性を示唆している。
• QRベースセンサ選択とSDN再構成の組み合わせは、相乗効果をもたらし、両者を個別に用いた場合よりも優れた性能を発揮した。