[논문 리뷰] Simulation-to-reality UAV Fault Diagnosis with Deep Learning

Wěi Zhāng, Junjie Tong외 2명|arXiv (Cornell University)|2023. 02. 09.

Target Tracking and Data Fusion in Sensor Networks인용 수 4

한 줄 요약

이 논문은 새로운로 식별된 특징(NIF)과 도메인 적응(DA)을 사용하여 시뮬레이션에서 실제 환경으로의 딥러닝 프레임워크를 제안한다. 이는 드론 프로펠러 고장 진단을 위한 시뮬레이션-실세계 갭을 메우는 데 목적이 있다. NIF와 MMD 기반 도메인 적응을 조합하고, 조정된 시뮬레이션 모델을 적용함으로써, 실제 퀴드로터 비행에서 96%의 고장 탐지 정확도를 달성하였다. 이는 퀀드로터에 대해 시뮬레이션에서 실제 환경으로의 신뢰할 수 있고 효율적인 고장 진단 방법으로서 첫 번째 성과이다.

ABSTRACT

Accurate diagnosis of propeller faults is crucial for ensuring the safe and efficient operation of quadrotors. Training a fault classifier using simulated data and deploying it on a real quadrotor is a cost-effective and safe approach. However, the simulation-to-reality gap often leads to poor performance of the classifier when applied in real flight. In this work, we propose a deep learning model that addresses this issue by utilizing newly identified features (NIF) as input and utilizing domain adaptation techniques to reduce the simulation-to-reality gap. In addition, we introduce an adjusted simulation model that generates training data that more accurately reflects the behavior of real quadrotors. The experimental results demonstrate that our proposed approach achieves an accuracy of 96\% in detecting propeller faults. To the best of our knowledge, this is the first reliable and efficient method for simulation-to-reality fault diagnosis of quadrotor propellers.

연구 동기 및 목표

• 모의 데이터로 훈련한 분류기가 실제 UAV에 배포될 때 성능이 저하되는 시뮬레이션-실세계 갭을 해결하기 위해.
• 모의 비행 데이터와 실제 비행 데이터 간의 도메인 이탈에 대응하여 딥러닝 모델의 일반화 성능을 향상시키기 위해.
• 낮은 비용과 높은 안전성을 확보하면서도, 실제 데이터에 의존하지 않고도 높은 정확도를 유지할 수 있는 고장 진단 파이프라인 개발을 위해.
• 도메인 이탈에 대한 강건성과 학습 효율성을 향상시키는 데 기여하는 새로운 특징 표현(NIF)을 도입하기 위해.

제안 방법

• 입력 신호 간 선형 관계를 보이는 새로 식별된 특징(NIF)을 제안하여, 더 효율적이고 강건한 딥러닝 훈련을 가능하게 한다.
• 모의(소스) 도메인과 실제(타겟) 도메인의 특징 분포를 정렬하기 위해 최대 평균 불일치(MMD) 기반 도메인 적응을 적용한다.
• 실제 퀀드로터의 비균형 역학을 더 잘 반영하도록 조정된 시뮬레이션 모델을 설계하여, 합성 훈련 데이터의 현실성 향상을 도모한다.
• 공유된 레이어를 갖는 1D-CNN(DCNN) 아키텍처를 사용하여 소스 및 타겟 도메인 모두에 적용하고, 적대적 도메인 적응을 통해 미세조정한다.
• t-SNE 시각화를 통해 모의 비행과 실제 비행에서 도메인 적응된 특징이 잠재 공간에서 밀도 있게 정렬되어 있음을 확인한다.
• 초기 정지와 Adam 최적화를 통해 하이퍼파rameter를 최적화하면서, 모의 데이터(Dataset S)와 실제 비행 데이터(Dataset T)의 조합을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 새로 식별된 특징(NIF)이 UAV 고장 진단에서 시뮬레이션-실세계 도메인 이탈에 대응하여 딥러닝 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ2 MMD를 사용한 도메인 적응이 모의와 실제 고장 분류 간 성능 격차를 어느 정도 줄일 수 있는가?
• RQ3 모델이 유일하게 시뮬레이션 데이터로 훈련된 경우, 실제 비행 데이터에서 높은 정확도를 달성하는 데 얼마나 효과적인가?
• RQ4 실제 퀸드로터 역학을 더 잘 반영하는 조정된 시뮬레이션 모델이 훈련된 분류기의 전이 가능성 향상에 기여하는가?

주요 결과

• 기존 특징을 사용한 DCNN+CF 모델은 실제 비행 데이터(Dataset T)에서 평균 73%의 정확도를 기록하여, 시뮬레이션-실세계 전이 과정에서의 과제를 보여주었다.
• DCNN+NIF 모델은 실제 비행 데이터에서 정확도를 약 80%까지 향상시켜, NIF가 도메인 간 일반화 성능 향상에 기여함을 입증하였다.
• DCNN+NIF+DA 모델은 실제 비행 데이터에서 96%의 정확도를 달성하여, 기준 모델과 비교해 유의미하게 높은 성능을 보이며 도메인 적응의 효과성을 입증하였다.
• t-SNE 시각화 결과, DCNN+NIF+DA 모델이 학습한 특징들이 모의 비행과 실제 비행 데이터 간에 잠재 공간에서 잘 정렬되어 있음을 확인하여, 높은 전이 성능의 이유를 설명할 수 있었다.
• 이 방법은 높은 안정성과 반복 가능성을 보였으며, 10번의 독립적인 훈련 런에서 일관된 결과를 기록하여 강건성을 입증하였다.
• 저자들의 지식으로는, 이는 퀸드로터 프로펠러의 시뮬레이션-실세계 고장 진단을 위한 첫 번째 신뢰할 수 있고 효율적인 방법이며, 실제 배포에서 최신 기술 수준의 정확도를 달성하였다.