[논문 리뷰] Data-driven sensor placement with shallow decoder networks

Jan M. Williams, Olivia Zahn외 1명|arXiv (Cornell University)|2022. 02. 10.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 QR 분해를 통한 탐욕적 선형 선택과 얕은 디코더 네트워크(_SDN_)를 이용한 비선형 복원을 조합하는 데이터 기반 센서 배치 방법인 Q-SDN을 제안한다. 이 하이브리드 접근법이 유체역학 응용 분야에서 센서 수가 적을 경우 특히 복원 정확도와 강인성을 크게 향상시키며, 선형 방법과 비선형 자르기 기반 대안들보다 뛰어난 성능을 보인다.

ABSTRACT

Sensor placement is an important and ubiquitous problem across the engineering and physical sciences for tasks such as reconstruction, forecasting and control. Surprisingly, there are few principled mathematical techniques developed to date for optimizing sensor locations, with the leading sensor placement algorithms often based upon the discovery of linear, low-rank sub-spaces and the QR algorithm. QR is a computationally efficient greedy search algorithm which selects sensor locations from candidate positions with maximal variance exhibited in a training data set. More recently, neural networks, specifically shallow decoder networks (SDNs), have been shown to be very successful in mapping sensor measurements to the original high-dimensional state space. SDNs outperform linear subspace representations in reconstruction accuracy, noise tolerance, and robustness to sensor locations. However, SDNs lack principled mathematical techniques for determining sensor placement. In this work, we develop two algorithms for optimizing sensor locations for use with SDNs: one which is a linear selection algorithm based upon QR (Q-SDN), and one which is a nonlinear selection algorithm based upon neural network pruning (P-SDN). Such sensor placement algorithms promise to enhance the already impressive reconstruction capabilities of SDNs. We demonstrate our sensor selection algorithms on two example data sets from fluid dynamics. Moreover, we provide a detailed comparison between our linear (Q-SDN) and nonlinear (P-SDN) algorithms with traditional linear embedding techniques (proper orthogonal decomposition) and QR greedy selection. We show that QR selection with SDNs enhances performance. QR even out-performs our nonlinear selection method that uses magnitude-based pruning. Thus, the combination of a greedy linear selection (QR) with nonlinear encoding (SDN) provides a synergistic combination.

연구 동기 및 목표

• 데이터 기반 시스템에서 센서 위치를 최적화하기 위한 원리적인 수학적 기법의 부족을 해결하기 위해.
• 최적의 센서 배치와 함께 비선형 딥러닝을 통합하여 시공간 시스템의 복원 정확도와 노이즈 내성 향상을 위해.
• 비선형 센서 선택을 위한 자르기 기반 방법이 실제 및 합성 유체역학 데이터셋에서 선형 선택보다 우수한가를 평가하기 위해.
• 탐욕적 선형 센서 선택(QR)과 비선형 복원(SDN)을 조합할 경우 상호보완적인 성능 향상이 이루어지는가를 입증하기 위해.
• 물리 과학 및 공학 전반에 적용 가능한 계산 효율적이고 구현이 간편한 센서 배치 프레임워크를 제공하기 위해.

제안 방법

• 학습 데이터에서 저질서 기반을 추출하기 위해 특이값 분해(SVD)를 통한 직교분해(POD)를 사용하여 상태 공간의 맞춤형 표현을 형성한다.
• 기존 데이터에서 분산을 최대화하는 센서 위치를 식별하기 위해 열 편향이 있는 QR 분해를 적용하여 센서의 최적 선형 선택을 보장한다.
• 희소 센서 측정값에서 고차원 상태 공간으로의 비선형 매핑을 학습하기 위해 얕은 디코더 네트워크(SDN)를 훈련시킨다.
• 오토인코더 아키텍처를 자르기 기반으로 감소시켜 얕은 디코더 네트워크로 줄이고, 이를 통해 비선형 센서 선택 방법을 구현한다.
• Q-SDN(선형 선택 + 비선형 복원)의 성능을 R-SDN(랜덤 센서 + SDN), P-SDN(자르기 기반 선택), 기존 선형 방법(POD, gappy POD)과 비교한다.
• 다양한 센서 수와 노이즈 수준에서 성능 평가를 위해 복원 오차를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 선형 센서 선택(QR)과 비선형 복원(SDN)을 조합한 하이브리드 접근법이 순수 선형 또는 비선형 방법보다 센서 배치에서 더 우수한 성능을 내는가?
• RQ2 SDN에서 크기 기반 자르기로 센서 선택을 수행할 경우 실제 유체역학 데이터에서 랜덤 또는 QR 기반 선택보다 더 나은 성능을 내는가?
• RQ3 Q-SDN의 성능은 센서 수에 따라 어떻게 변화하는가? 특히 저센서 영역에서의 스케일링 특성은 어떻게 되는가?
• RQ4 왜 크기 기반 자르기 전략이 해수면 온도 데이터셋에서는 효과적인 센서 위치를 식별하지 못하는가? 이는 이러한 자르기 전략의 한계를 어떻게 시사하는가?
• RQ5 QR 기반 선택과 SDN 복원 간의 상호보완적 상호작용이 노이즈에 대한 강인성과 복원 정확도 향상에 얼마나 기여하는가?

주요 결과

• Q-SDN은 R-SDN과 선형 복원 방법보다 뛰어나며, 특히 저센서 영역에서 두드러진 성능 향상을 보이며, 저노이즈 복원 사례에서 Q-SDN의 복원 오차는 거의 두 배 이상 높은 오차를 보인다.
• 단 3개의 센서만으로도 Q-SDN은 최적의 복원 정확도를 달성한다. 3개를 초과해 센서를 늘여도 성능 향상이 거의 없으며, 이는 효과적인 센서 선택을 의미한다.
• Q-SDN이 3개 센서로 달성한 정확도를 R-SDN과 선형 방법이 달성하기 위해선 5배 이상 많은 센서가 필요했으며, 이는 Q-SDN의 센서 배치 효율성을 입증한다.
• 비선형 자르기 기반 방법인 P-SDN는 해수면 온도 데이터셋에서 랜덤 센서 배치조차도 뒤지며, 데이터의 저온(음수) 영역에 대한 편향이 원인이다.
• 크기 기반 자르기 전략이 효과적인 센서 위치를 식별하지 못한 실패는 이러한 방법이 수정 없이 물리 기반 센서 배치에 적합하지 않을 수 있음을 시사한다.
• QR 기반 센서 선택과 SDN 복원 복합 전략은 상호보완적인 성능 향상을 가져오며, 개별적으로 사용했을 때보다 뛰어난 성능을 보인다.