[논문 리뷰] Learning Transferable Policies for Monocular Reactive MAV Control

Shreyansh Daftry, J. Andrew Bagnell외 1명|arXiv (Cornell University)|2016. 08. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 28

한 줄 요약

이 논문은 시뮬레이션 또는 소스 도메인 데이터에서 얻은 반응형 비행 정책을 새로운 환경에서의 실세계 단안 MAV 비행으로 전이하기 위해 딥 네ural 네트워크를 사용하는 도메인 적응 프레임워크를 제안한다. 특징 공간에서의 도메인 차이를 최소화함으로써, 이 방법은 실세계 테스트에서 90퍼센트 이상의 정확도와 1900번 이상의 장애물 회피 성공을 기록하며 고속 자율 비행을 가능하게 하며, 재학습이 없는 비적응 정책보다 뚜렷이 뛰어나다.

ABSTRACT

The ability to transfer knowledge gained in previous tasks into new contexts is one of the most important mechanisms of human learning. Despite this, adapting autonomous behavior to be reused in partially similar settings is still an open problem in current robotics research. In this paper, we take a small step in this direction and propose a generic framework for learning transferable motion policies. Our goal is to solve a learning problem in a target domain by utilizing the training data in a different but related source domain. We present this in the context of an autonomous MAV flight using monocular reactive control, and demonstrate the efficacy of our proposed approach through extensive real-world flight experiments in outdoor cluttered environments.

연구 동기 및 목표

• 소스 도메인(예: 시뮬레이션 또는 다른 환경)에서 학습된 자율 비행 정책을 새 실세계 타겟 도메인으로 전이하는 데 도전하는 것.
• 충돌 회피와 같이 실패가 치명적인 위험한 작업에 대해 비용이 많이 드는 실세계 데이터 수집에 의존도를 줄이는 것.
• 센서 품질, 동역학, 날씨 및 환경의 차이로 인한 도메인 이동에 따른 정책 일반화를 향상시키는 것.
• 광범위한 실외 실험을 통해 도메인 적응의 효과성을 실세계 MAV 비행에서 검증하는 것.

제안 방법

• 인간 조종사의 시연 데이터를 사용하여 소스 도메인에서 반응형 정책를 학습하기 위해 암시 학습을 활용하며, 시각 입력을 좌우 속도 명령으로 매핑한다.
• 재생 핵 힐버트 공간에서 특징 표현의 평균 임베딩을 정렬함으로써 소스 도메인과 타겟 도메인 간의 도메인 차이를 최소화하기 위해 딥 어댑테이션 네트워크(DAN)를 적용한다.
• 공유된 특징 추출기와 도메인별 헤드를 사용하는 깊은 합성곱 신경망(CNN)을 통해 도메인 불변 표현을 학습하면서도 작업에 특화된 정책 학습을 유지한다.
• 라벨이 없는 타겟 도메인 데이터와 라벨이 있는 소스 도메인 데이터를 사용하여 모델을 훈련함으로써, 타겟 도메인에서의 라벨이 필요 없이 전이를 가능하게 한다.
• 소스 도메인과 타겟 도메인의 특징 분포 간 통계적 발산을 명시적으로 줄이기 위해 다중 커널 최대 평균 차이(MK-MMD) 손실을 사용한다.
• 암시 손실과 도메인 적응 손실의 조합을 통해 정책를 종단 간(end-to-end)으로 미세조정함으로써 정책의 강건성과 전이 가능성 향상.

실험 결과

연구 질문

• RQ1 시뮬레이션 또는 소스 환경에서 학습된 반응형 비행 정책가 실세계 타겟 환경으로 최소한의 실세계 데이터로 효과적으로 전이될 수 있는가?
• RQ2 단안 MAV 비행에서 센서 품질, 동역학 및 환경 조건 변화에 따른 정책 일반화에 도메인 적응이 어떻게 기여하는가?
• RQ3 물리적으로 다른 MAV 플랫폼 또는 계절 조건 간 정책 전이 시 도메인 적응이 순수한 정책 재사용보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ4 원천 데이터에서의 굵은 소스 애너테이션(예: 왼쪽/중앙/오른쪽 트레일)은 전이 성능에 어떤 영향을 미치며, 이러한 데이터의 한계는 무엇인가?

주요 결과

• 제안된 도메인 적응 방법은 실세계 실외 비행에서 장애물 회피 정확도가 90퍼센트 이상을 기록하였으며, 6km의 비행 거리 동안 1,900개 이상의 나무를 성공적으로 통과하였다.
• 물리적 시스템과 기상 조건 간 전이에서 타겟 도메인에서의 성능가 소스 도메인의 성능를 초월하였으며, 겨울철에 더 높은 센서 해상도와 낮은 시각적 혼잡도가 기여한 것으로 분석되었다.
• 비적응 정책에 비해 도메인 적응 정책가 훨씬 더 뛰어난 일반화 성능를 보였으며, 밀도가 높은 숲 조건에서 안정적인 제어를 유지하는 비행 시퀀스의 정성적 비교를 통해 이를 입증하였다.
• 일반 제품 데이터셋에서의 굵은 애너테이션을 사용한 환경 간 전이에서는 성능 향상이 약간에 그쳐, 작업 및 도메인 불일치로 인한 한계를 드러냈다.
• 낙엽과 가지로 인한 시각적 간섭이 감소한 겨울 조건에서는 실패 사례가 줄어들어 환경 요소가 정책의 강건성에 미치는 영향을 확인하였다.
• 소스 도메인과 타겟 도메인 간 물리적 위치, 조도, 동적 조건의 차이가 있더라도 도메인 적응이 도메인 이동을 효과적으로 줄이는 데 기여함을 입증하였다.