[논문 리뷰] How hard is it to cross the room? -- Training (Recurrent) Neural Networks to steer a UAV

Klaas Kelchtermans, Tinne Tuytelaars|Lirias (KU Leuven)|2017. 02. 24.

Advanced Vision and Imaging참고 문헌 3인용 수 30

한 줄 요약

이 논문은 시뮬레이션된 실내 환경에서 장애물 회피 및 방 이동을 위한 드론(UAV) 조종을 위해 강화 학습을 활용한 타깃 학습(imitation learning)을 통해 순환 신경망(RNN, 특히 LSTMs)을 훈련시키는 방법을 제안한다. 창문 기반의 시간에 따른 역전파(ww-tbptt)와 사전 훈련된 CNN의 미세조정을 통해, 종단간 훈련보다 더 적은 데이터와 더 빠른 수렴 속도를 달성하면서도 안정적인 제어 성능을 확보하였으며, 이는 기억력과 전이 학습이 순차적 시각 탐색 작업에서 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

This work explores the feasibility of steering a drone with a (recurrent) neural network, based on input from a forward looking camera, in the context of a high-level navigation task. We set up a generic framework for training a network to perform navigation tasks based on imitation learning. It can be applied to both aerial and land vehicles. As a proof of concept we apply it to a UAV (Unmanned Aerial Vehicle) in a simulated environment, learning to cross a room containing a number of obstacles. So far only feedforward neural networks (FNNs) have been used to train UAV control. To cope with more complex tasks, we propose the use of recurrent neural networks (RNN) instead and successfully train an LSTM (Long-Short Term Memory) network for controlling UAVs. Vision based control is a sequential prediction problem, known for its highly correlated input data. The correlation makes training a network hard, especially an RNN. To overcome this issue, we investigate an alternative sampling method during training, namely window-wise truncated backpropagation through time (WW-TBPTT). Further, end-to-end training requires a lot of data which often is not available. Therefore, we compare the performance of retraining only the Fully Connected (FC) and LSTM control layers with networks which are trained end-to-end. Performing the relatively simple task of crossing a room already reveals important guidelines and good practices for training neural control networks. Different visualizations help to explain the behavior learned.

연구 동기 및 목표

• 순환 신경망(RNN)이 UAV의 종단간 시각 탐색에 활용될 수 있는지의 타당성을 조사하기 위해.
• 전방 카메라에서 생성되는 높은 상관관계를 가지는 순차적 시각 데이터에 대해 RNN을 훈련하는 데 도전하는 것.
• 자동 전문가를 활용한 타깃 학습이 복구 경로를 생성함으로써 분포 이탈을 완화하는 효과를 평가하기 위해.
• 데이터 효율성과 성능 측면에서 종단간 훈련과 사전 훈련된 네트워크의 미세조정을 비교하기 위해.
• 시각 입력을 활용한 자율 드론(UAV) 탐색을 위한 깊이 신경망 훈련을 위한 실용적 지침을 제공하기 위해.

제안 방법

• 고정 및 가변 장애물이 있는 방을 횡단하는 데 중점을 둔 드론(UAV) 탐색을 위한 시뮬레이션 환경을 구현한다.
• 인간의 애너테이션 필요성을 줄이기 위해 행동 조율 기능을 갖춘 자동 전문가를 사용하여 전문가의 시연와 복구 경로를 생성한다.
• DAgger 반복을 활용한 타깃 학습을 수행하며, 훈련 중 분포 이탈을 완화하기 위해 복구 카메라를 활용한다.
• RNN 훈련에서 순차적 상관관계 편향을 줄이기 위해 창문 기반의 시간에 따른 역전파(ww-tbptt)를 적용한다.
• 종단간 훈련 대신 사전 훈련된 Inception 네트워크의 최종 완전 연결층과 LSTM 계층만을 미세조정한다.
• 네트워크 동작과 제어 정책을 시각화하여 학습된 탐색 전략을 해석한다.

실험 결과

연구 질문

• RQ1 순환 신경망(RNN, 특히 LSTM)이 오직 시각 입력만을 사용하여 실내 환경에서 드론(UAV)을 효과적으로 제어할 수 있는가?
• RQ2 입력 상관관계로 인한 훈련 불안정성을 줄이기 위해 창문 기반의 시간에 따른 역전파(ww-tbptt)가 표준 tbptt와 비교해 어떻게 성능을 높이는가?
• RQ3 사전 훈련된 CNN 특징의 미세조정이 종단간 훈련 대비 성능 향상과 데이터 효율성 향상에 기여하는가?
• RQ4 복구 경로 생성 기능을 갖춘 자동 전문가가 DAgger 반복 과정에서 분포 이탈을 얼마나 효과적으로 완화하는가?
• RQ5 복구 데이터와 다중 시점 카메라 입력이 미지의 환경으로의 일반화 성능 향상에 어떤 역할을 하는가?

주요 결과

• 사전 훈련된 ImageNet 모델의 최종 완전 연결층과 LSTM 계층만을 미세조정하는 방식이 종단간 훈련보다 타깃 손실과 수렴 속도 측면에서 뚜렷한 성능 향상을 보였다.
• WW-TBPTT는 표준 슬라이딩 윈도우 TBPTT에서 나타나는 순차적 편향을 감소시켜 RNN 훈련의 안정성을 높였지만, 계산 비용 증가를 수반했다.
• 자동 전문가를 활용한 DAgger 반복은 Room Crossing Two 데이터셋에서 신뢰할 수 없는 성능을 보였으며, 이는 학생이 생성한 경로로 인한 분포 이탈과 일관되지 않은 전문가 애너테이션이라는 두 가지 새로운 편향 때문일 가능성이 높다.
• 다양한 경로에서 유래한 복구 데이터와 다중 카메라 각도 입력이 함께 사용될 경우, 특히 자동 전문가와 결합할 경우, 미지의 방으로의 일반화 성능 향상에 상당한 기여를 하였다.
• 사전 훈련된 Inception 네트워크를 시각 인코더로 활용함으로써 종단간 훈련보다 훨씬 적은 데이터로도 뛰어난 성능을 달성하였으며, 이는 전이 학습의 가치를 강력히 입증한다.
• 시각화 결과 네트워크가 장애물 주변의 경로 계획 및 일관된 방향 회피 행동과 같은 의미 있는 탐색 정책을 학습한 것으로 나타났다. 이는 복잡한 구성 환경에서도 성립하였다.