[論文レビュー] Seeing the Wind: Visual Wind Speed Prediction with a Coupled Convolutional and Recurrent Neural Network

Jennifer L. Cardona, Michael F. Howland+1 more|arXiv (Cornell University)|May 30, 2019

Wind and Air Flow Studies参考文献 41被引用数 15

ひとこと要約

本論文では、フラッグの揺れや木の揺らぎの映像から風速を予測するための深層学習フレームワークを提案する。このモデルは、ResNet-18畳み込みニューラルネットワークとLSTMを組み合わせており、検証データにおいて自然な風の変動（約1.85 m/s）に近い平均二乗誤差を達成した。また、未学習のフラッグや風洞実験条件に対しても一般化できることを示し、低コストで分散型の視覚的風速計測の可能性を示した。

ABSTRACT

Wind energy resource quantification, air pollution monitoring, and weather forecasting all rely on rapid, accurate measurement of local wind conditions. Visual observations of the effects of wind---the swaying of trees and flapping of flags, for example---encode information regarding local wind conditions that can potentially be leveraged for visual anemometry that is inexpensive and ubiquitous. Here, we demonstrate a coupled convolutional neural network and recurrent neural network architecture that extracts the wind speed encoded in visually recorded flow-structure interactions of a flag and tree in naturally occurring wind. Predictions for wind speeds ranging from 0.75-11 m/s showed agreement with measurements from a cup anemometer on site, with a root-mean-squared error approaching the natural wind speed variability due to atmospheric turbulence. Generalizability of the network was demonstrated by successful prediction of wind speed based on recordings of other flags in the field and in a controlled wind tunnel test. Furthermore, physics-based scaling of the flapping dynamics accurately predicts the dependence of the network performance on the video frame rate and duration.

研究の動機と目的

• 自然の流れ-構造物相互作用に由来する視覚的情報を用いて、局所的な風速を低コストかつ非侵襲的に測定する方法を開発すること。
• 高価で現地設置を要する従来の風速計の限界を克服すること。
• 既存の監視カメラや自然の物体といった視覚的インfraストラクチャーを活用して、都市部や未開拓地域における広範な風速マップ作成を可能にすること。
• 深層学習が視覚的風速計測において、異なるフラッグや環境条件に一般化できるかどうかを調査すること。
• 特にフラッグの揺れ運動と動画のサンプリングレートの役割を含む、モデル性能の背後にある物理的原理を理解すること。

提案手法

• フラッグの揺れや木の揺らぎの2秒間の動画クリップ（30フレーム）を、空間的特徴抽出のためのResNet-18 CNNの入力として使用する。
• 各フレームからの特徴量を、流れ-構造物相互作用の時間的ダイナミクスをモデル化するための長短期記憶（LSTM）再帰的ネットワークで処理する。
• 異なる背景や物体タイプにわたる一般化を向上させるために、入力フレームを時間平均で差し引くことで正規化する。
• 現場設置のカップ風速計による真値を用いて、モデルをエンドツーエンドで風速（m/s）を回帰するように訓練する。
• 一般化性能と耐障害性を評価するため、検証データセット、隣接フラッグテストセット、風洞実験データセットで性能を評価する。
• 物理的スケーリング則を用いて、動画フレームレートおよび継続時間がモデル性能に与える依存関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 物理的センサーに依存せずに、フラッグや木の揺れの視覚的運動から深層学習モデルが正確に風速を予測できるか？
• RQ2 訓練中に見られなかった新しいフラッグや場所に対し、モデルの一般化性能はどの程度高いか？
• RQ3 時間平均の差し引き処理が、異なる視覚的背景にわたるモデルの一般化性能に与える影響は何か？
• RQ4 動画のフレームレートおよび継続時間は、モデルが風によって引き起こされるダイナミクスを捉える能力にどのように影響するか？
• RQ5 風速予測の正確さにとって、揺れる動きのどの物理的側面が最も重要か？

主な発見

• 検証データセットにおいて、モデルは平均二乗誤差（RMSE）が1.85 m/sに達し、大気乱流に起因する自然な変動に近づいた。
• 隣接フラッグテストセットでは、測定可能な風速範囲内でRMSEが1.85 m/sに達し、新しいフラッグへの強い一般化性能を示した。
• 風洞テストセットでは、RMSEが1.82 m/sに達し、制御された環境と現実世界の両方でモデルの耐障害性を示した。
• 平均値を差し引いた入力を使用したモデル（LSTM-NM）は、元の入力のバージョン（LSTM-raw）を著しく上回り、特にテストセットで顕著な改善を示した。風洞テストではRMSEが9.61 m/sから1.82 m/sに低下した。
• スケーリング則が予測したように、モデルの性能はフラッグの基本的な揺れ周波数によって物理的に制限されている。
• すべてのテストセットにおいて、真の風速の増加に伴い予測風速が単調に増加する傾向をモデルが的確に捉えており、予測の一貫性が確認された。