[논문 리뷰] Seeing the Wind: Visual Wind Speed Prediction with a Coupled Convolutional and Recurrent Neural Network

Jennifer L. Cardona, Michael F. Howland외 1명|arXiv (Cornell University)|2019. 05. 30.

Wind and Air Flow Studies참고 문헌 41인용 수 15

한 줄 요약

이 논문은 깃발이 펄럭이고 나무가 흔들리는 영상에서 풍속을 예측하기 위해 ResNet-18 컨볼루션 신경망과 LSTM을 조합한 딥러닝 프레임워크를 제안한다. 모델은 검증 데이터에서 자연 풍의 변동성에 가까운 루트 평균 제곱 오차(≈1.85 m/s)를 달성하고, 훈련 중에 볼 수 없었던 깃발과 풍동 조건으로도 일반화되며, 저비용이며 분산형 시각 풍속계의 잠재적 가능성을 보여준다.

ABSTRACT

Wind energy resource quantification, air pollution monitoring, and weather forecasting all rely on rapid, accurate measurement of local wind conditions. Visual observations of the effects of wind---the swaying of trees and flapping of flags, for example---encode information regarding local wind conditions that can potentially be leveraged for visual anemometry that is inexpensive and ubiquitous. Here, we demonstrate a coupled convolutional neural network and recurrent neural network architecture that extracts the wind speed encoded in visually recorded flow-structure interactions of a flag and tree in naturally occurring wind. Predictions for wind speeds ranging from 0.75-11 m/s showed agreement with measurements from a cup anemometer on site, with a root-mean-squared error approaching the natural wind speed variability due to atmospheric turbulence. Generalizability of the network was demonstrated by successful prediction of wind speed based on recordings of other flags in the field and in a controlled wind tunnel test. Furthermore, physics-based scaling of the flapping dynamics accurately predicts the dependence of the network performance on the video frame rate and duration.

연구 동기 및 목표

• 자연적인 유동-구조물 상호작용에서의 시각적 신호를 이용해 현장 설치가 필요 없고 저비용으로 국소 바람 속도를 측정할 수 있는 방법을 개발하기 위해.
• 비용이 많이 들고 현장 설치가 필요한 전통적인 나침반 측정기의 한계를 극복하기 위해.
• 기존의 카메라와 자연물과 같은 시각 인프라를 활용해 도시 및 원격 환경에서 널리 퍼진 바람 속도 맵핑을 가능하게 하기 위해.
• 딥러닝 모델이 다양한 깃발과 환경 조건에서 시각적 풍속계 측정에 일반화할 수 있는지 조사하기 위해.
• 특히 펄럭임 역학과 영상 샘플링 속도의 역할을 포함한 모델 성능의 물리적 원리를 이해하기 위해.

제안 방법

• 펄럭이는 깃발이나 흔들리는 나무의 2초 영상 클립(30 프레임)을 공간적 특징 추출을 위한 ResNet-18 CNN의 입력으로 사용한다.
• 각 프레임의 특징들이 장기 기억을 가지는 순환 신경망(LSTM)을 통해 흐름-구조물 상호작용의 시간적 동역학을 모델링한다.
• 다양한 배경과 물체 유형 간 일반화를 향상시키기 위해 입력 프레임을 시간 평균으로 빼서 정규화한다.
• 현장에 설치된 컵 나침반 측정기의 참값을 사용해 모델을 엔드 투 엔드로 훈련하여 m/s 단위의 바람 속도를 회귀한다.
• 일반화 및 강건성을 평가하기 위해 검증 세트, 인접한 깃발 세트, 풍동 테스트 세트에서 성능을 평가한다.
• 물리 기반의 척도 법칙을 사용해 영상 프레임 속도와 지속 시간이 모델 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 물리적 센서에 의존하지 않고 깃발이나 나무의 시각적 운동에서 딥러닝 모델이 바람 속도를 정확하게 예측할 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 새로운 깃발과 위치에 대해 모델의 일반화 능력은 얼마나 뛰어나며?
• RQ3 시간 평균 차감이 다양한 시각적 배경 간 모델 일반화에 어떤 영향을 미치는가?
• RQ4 영상 프레임 속도와 지속 시간은 모델이 바람에 의해 유도된 동역학을 포착하는 데 어떤 영향을 미치는가?
• RQ5 정확한 바람 속도 예측에 가장 중요한 펄럭임 운동의 물리적 특성은 무엇인가?

주요 결과

• 검증 세트에서 모델은 루트 평균 제곱 오차(RMSE) 1.85 m/s를 달성했으며, 대기 난류로 인한 자연적 변동성에 근접했다.
• 인접한 깃발 테스트 세트에서 모델은 측정 가능한 바람 속도 범위에서 RMSE 1.85 m/s를 기록했으며, 새로운 깃발에 대한 강력한 일반화 능력을 보였다.
• 풍동 테스트 세트에서 모델은 RMSE 1.82 m/s를 기록했으며, 통제된 환경과 실제 환경 간의 강건성을 입증했다.
• 시간 평균을 뺀 입력을 사용한 모델(LSTM-NM)은 원본 입력 버전(LSTM-raw)보다 유의미하게 뛰어난 성능을 보였으며, 특히 테스트 세트에서 RMSE가 9.61 m/s에서 1.82 m/s로 감소했다.
• 모델의 성능은 척도 법칙에 의해 예측된 바와 같이 깃발의 기본 펄럭임 주파수로 인해 물리적으로 제한된다.
• 모든 테스트 세트에서 진짜 바람 속도 증가에 따라 예측된 바람 속도가 단조적으로 증가하는 경향을 성공적으로 포착했으며, 이는 모델의 예측 일관성을 확인한다.