[논문 리뷰] Unsupervised Learning of Particle Image Velocimetry

Mingrui Zhang, Matthew D. Piggott|arXiv (Cornell University)|2020. 07. 28.

Advanced Vision and Imaging참고 문헌 19인용 수 7

한 줄 요약

이 논문은 지도 학습이 아닌 지도 없는 딥 러닝 접근법을 제안하며, 입자 이미지 속도측정법(PIV)에 적용한다. 영상 강도, 일致성, 매끄러움 손실을 활용하여 지도 데이터 없이도 조밀한 속도장을 추정한다. 이 방법은 전통적 및 지도 학습 기반 PIV 방법들과 경쟁 가능한 성능을 보이며, 난류 및 복잡한 흐름과 같은 도전적인 흐름 케이스에서 그 성능을 뛰어나게 한다.

ABSTRACT

Particle Image Velocimetry (PIV) is a classical flow estimation problem which is widely considered and utilised, especially as a diagnostic tool in experimental fluid dynamics and the remote sensing of environmental flows. Recently, the development of deep learning based methods has inspired new approaches to tackle the PIV problem. These supervised learning based methods are driven by large volumes of data with ground truth training information. However, it is difficult to collect reliable ground truth data in large-scale, real-world scenarios. Although synthetic datasets can be used as alternatives, the gap between the training set-ups and real-world scenarios limits applicability. We present here what we believe to be the first work which takes an unsupervised learning based approach to tackle PIV problems. The proposed approach is inspired by classic optical flow methods. Instead of using ground truth data, we make use of photometric loss between two consecutive image frames, consistency loss in bidirectional flow estimates and spatial smoothness loss to construct the total unsupervised loss function. The approach shows significant potential and advantages for fluid flow estimation. Results presented here demonstrate that our method outputs competitive results compared with classical PIV methods as well as supervised learning based methods for a broad PIV dataset, and even outperforms these existing approaches in some difficult flow cases. Codes and trained models are available at https://github.com/erizmr/UnLiteFlowNet-PIV.

연구 동기 및 목표

• 실제 유체 흐름 추정에서 신뢰할 수 있는 지도 데이터의 부족 문제를 해결하기 위해.
• 정규화된 학습 데이터가 필요 없는 딥 러닝 기반 PIV 방법을 개발하여, 복잡한 실제 시나리오로의 일반화를 가능하게 하기 위해.
• 지도 학습이 아닌 방법이 다양한 흐름 조건에서 지도 학습 및 전통적 PIV 방법의 성능을 따라하거나 능가할 수 있는지 탐색하기 위해.
• 지도 없는 프레임워크에서 영상 강도, 일치성, 매끄러움 손실을 조합하여 속도장 추정에 효과적인지 평가하기 위해.

제안 방법

• 이 방법은 지도 학습 기반으로 훈련된 LiteFlowNet을 기반으로 하되, PIV에 적합하도록 조정된 경량 흐름 네트워크인 UnLiteFlowNet-PIV를 사용한다.
• 총 손실 함수는 세 가지 구성요소를 포함한다: 영상 강도 손실은 예측된 흐름을 사용해 두 번째 이미지를 왜곡한 결과와 기준 이미지 간의 강도 차이를 최소화하며, 일치성 손실은 양방향 흐름 대칭성을 강제로 적용하고, 공간적 매끄러움 손실은 매끄러운 속도장을 촉진한다.
• 영상 강도 손실은 예측된 흐름을 사용해 두 번째 이미지를 왜곡한 결과와 기준 이미지 간의 L1 노름으로 계산된다.
• 일치성 손실은 정방향 및 역방향 흐름 예측이 상호적으로 대칭이 되도록 하여 안정성을 향상시킨다.
• 매끄러움 손실은 예측된 흐름장에서 큰 공간 기울기를 방지하여 물리적 타당성을 유지한다.
• 모델은 지도 없는 훈련을 통해 유일하게 PIV 시퀀스의 영상 쌍만을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 지도 없는 딥 러닝 프레임워크가 지도 데이터 없이도 경쟁 가능한 PIV 성능을 달성할 수 있는가?
• RQ2 손실 함수의 개별 구성요소(영상 강도, 일치성, 매끄러움)가 모델 성능에 어떻게 기여하는가?
• RQ3 지도 데이터가 없는 복잡하거나 실제 흐름 시나리오에서 지도 없는 방법이 지도 학습 방법보다 더 잘 일반화되는가?
• RQ4 어떤 종류의 흐름 조건에서 지도 없는 방법이 전통적 PIV 및 지도 학습 기반 딥 러닝 기준 모델을 능가하는가?

주요 결과

• 제안된 지도 없는 방법은 각각 Back-Step, Cylinder, JHTDB, DNS, SQG 데이터셋에서 평균 종단 오차(AEE)가 10.1, 7.8, 9.6, 13.5, 19.7 픽셀/100 픽셀로 측정되어, 전통적 WIDIM 및 Horn-Schunck 방법보다 뛰어난 성능을 보였다.
• SQG 및 DNS 데이터셋과 같은 도전적인 셋에서, 지도 학습 기반 모든 베이스라인 모델, 특히 최신 기술인 PIV-LiteFlowNet-en을 포함하여도 지도 없는 방법이 더 낮은 AEE를 기록했다.
• 제거 실험 결과, 일치성 또는 매끄러움 손실을 제거할 경우 성능이 크게 떨어지며, 이는 손실 함수 내에서 두 구성요소의 중요성을 확인한다.
• 전체 손실 함수($L_P + L_S + L_C$)는 최고의 테스트 성능을 보였으며, Back-Step에서는 AEE 10.1, SQG에서는 19.7을 기록하여 복합 손실 설계의 효과를 입증했다.
• 이 방법은 난류 및 큰 이동 거리가 발생하는 복잡한 흐름으로도 잘 일반화되며, 도메인 분포의 변화로 인해 지도 학습 모델이 어려움을 겪는 경우에도 유리하다.
• 지도 없는 방법은 지도 데이터 없이도 고레이놀즈 수치 및 복잡한 흐름 구조를 가진 모든 데이터셋에서 경쟁 가능한 결과를 달성했다.