[논문 리뷰] Learning Transferable UAV for Forest Visual Perception

Lyujie Chen, Wufan Wang외 1명|arXiv (Cornell University)|2018. 06. 10.

Advanced Neural Network Applications참고 문헌 15인용 수 5

한 줄 요약

이 논문은 시뮬레이션 데이터셋과 도메인 적응을 사용하여 단안 무인 항공기(UAV)가 밀도 높은 산림 길을 자율 주행할 수 있도록 하는 전이 학습 파이프라인을 제안한다. 숲의 시각적 인식을 ResNet-18 모델을 사용한 분류 과제로 공식화하고, 다중 커널 최대 평균 차이(MK-MMD)를 도메인 적응에 적용함으로써 실제 비행에서 84.08%의 정확도를 달성하여 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a new pipeline of training a monocular UAV to fly a collision-free trajectory along the dense forest trail. As gathering high-precision images in the real world is expensive and the off-the-shelf dataset has some deficiencies, we collect a new dense forest trail dataset in a variety of simulated environment in Unreal Engine. Then we formulate visual perception of forests as a classification problem. A ResNet-18 model is trained to decide the moving direction frame by frame. To transfer the learned strategy to the real world, we construct a ResNet-18 adaptation model via multi-kernel maximum mean discrepancies to leverage the relevant labelled data and alleviate the discrepancy between simulated and real environment. Simulation and real-world flight with a variety of appearance and environment changes are both tested. The ResNet-18 adaptation and its variant model achieve the best result of 84.08% accuracy in reality.

연구 동기 및 목표

• 제한된 실제 데이터를 바탕으로 단안 UAV의 자율적 숲 길 주행을 위한 훈련 문제를 해결하기 위해.
• 유니버설 엔진에서 물리적으로 현실적인 시뮬레이션을 활용하여 실제 데이터 수집의 비용과 위험을 줄이기 위해.
• 시뮬레이션과 실제 시각 데이터 간의 분포 차이를 최소화하는 도메인 적응 기법을 통해 시뮬레이션에서 실제로의 도메인 갭을 해소하기 위해.
• 다양한 환경 조건에서도 충돌 없이 길을 따라가는 비행이 가능한 견고하고 이식 가능한 시각적 인식 시스템을 개발하기 위해.
• 시뮬레이션 데이터의 계절 및 조명 변화를 활용한 다중 소스 도메인 적응의 효과를 검증하기 위해.

제안 방법

• AirSim을 사용하여 유니버설 엔진에서 다양한 계절 및 조명 조건(봄, 여름, 가을, 겨울, 눈; 오전, 저녁)을 시뮬레이션한 밀도 높은 숲 길 데이터셋을 새로 수집하였다.
• UAV 경로 결정을 위한 시각적 인식을 세 클래스 분류 과제(왼쪽, 직진, 오른쪽)로 공식화하였다.
• 단안 이미지에서 이동 방향을 예측하기 위해 시뮬레이션 데이터에서 ResNet-18 기반 모델을 훈련시켰다.
• 시뮬레이션 도메인과 실제 도메인 간의 특징 분포를 정렬하기 위해 다중 커널 최대 평균 차이(MK-MMD) 레이어를 도입하였다. 이는 도메인 적응을 가능하게 한다.
• 다양한 소스 도메인(예: 다른 계절과 조명 조건)의 특징을 결합하는 다중 소스 적응 모델을 통해 일반화 성능 향상과 도메인 이탈 감소를 도모하였다.
• 예측된 클래스 확률을 실시간 UAV 비행 제어 명령어로 변환하는 단순한 반응형 제어기를 도입하였다.

실험 결과

연구 질문

• RQ1 오직 시뮬레이션된 숲 이미지에서만 훈련된 딥 러닝 모델이 밀도가 높고 시각적으로 복잡한 숲에서 실제 UAV 비행에 효과적으로 일반화될 수 있는가?
• RQ2 시뮬레이션된 시각 데이터와 실제 시각 데이터 간의 도메인 이탈이 시각 기반 비행 정책의 성능에 어떤 영향을 미치는가?
• RQ3 계절 및 조명 변화와 같은 소스 도메인의 다양성이 시뮬레이션에서 실제로의 전이에서 도메인 적응의 성능에 어떤 영향을 미치는가?
• RQ4 MK-MMD를 활용한 다중 소스 도메인 적응이 단일 소스 적응보다 일반화 및 강건성을 향상시키는가?
• RQ5 교차 도메인 전이에서 최적의 성능을 내는 하이퍼파라미터 설정(예: MK-MMD의 학습 가중치 λ)은 무엇인가?

주요 결과

• 제안된 다중 소스 적응 모델이 실제 비행에서 가장 높은 정확도 84.08%를 달성하여 기준 ResNet-18 모델을 크게 앞섰다.
• 모든 시뮬레이션 데이터(모든 계절 및 조명 조건 포함)를 소스 도메인으로 사용한 결과, 실제 테스트에서 81.40%의 정확도를 기록하였으며, 이는 비적응 모델의 72.24%보다 뚜렷한 향상이었다.
• 겨울 시뮬레이션 데이터만으로 훈련한 모델은 성능이 열악했으며(61% 정확도), 계절 단순화로 인한 도메인 이탈이 일반화 능력에 악영향을 미친다는 것을 시사했다.
• 소스 도메인에서 가을 이미지를 제외한 결과 성능 저하가 발생했으며, 이는 계절 다양성이 강건성을 향상시킨다는 것을 시사했다.
• 모든 계절의 오전 및 저녁 이미지를 포함한 다중 소스 적응 모델이 가장 우수한 성능을 보였으며, 이는 다양한 조명 조건이 전이 가능성 향상에 기여한다는 것을 입증했다.
• 감도 분석 결과, MK-MMD의 학습 가중치 λ = 1으로 설정할 경우 특징 학습과 도메인 이탈 최소화 사이의 최적 균형을 확보할 수 있었다.