[논문 리뷰] Avoidance of Manual Labeling in Robotic Autonomous Navigation Through Multi-Sensory Semi-Supervised Learning

Junhong Xu, Shangyue Zhu외 2명|arXiv (Cornell University)|2017. 09. 22.

Reinforcement Learning in Robotics참고 문헌 30인용 수 3

한 줄 요약

이 논문은 다중 감각 반감독 학습(MS3L)을 제안하며, 인간 레이블링을 대체하기 위해 센서 융합을 활용해 로봇 상태를 자동으로 레이블링하는 자기지도 학습 프레임워크이다. 실내 환경에서 인간 수준의 성능을 달성하고 예기치 않은 장애 발생 시 인간 운영자보다 뛰어난 성능을 보이며, 단 한 번의 인간 초기화 이후 반복적인 전문가 질의가 필요 없게 된다.

ABSTRACT

Imitation learning holds the promise to address challenging robotic tasks such as autonomous navigation. It however requires a human supervisor to oversee the training process and send correct control commands to robots without feedback, which is always prone to error and expensive. To minimize human involvement and avoid manual labeling of data in the robotic autonomous navigation with imitation learning, this paper proposes a novel semi-supervised imitation learning solution based on a multi-sensory design. This solution includes a suboptimal sensor policy based on sensor fusion to automatically label states encountered by a robot to avoid human supervision during training. In addition, a recording policy is developed to throttle the adversarial affect of learning too much from the suboptimal sensor policy. This solution allows the robot to learn a navigation policy in a self-supervised manner. With extensive experiments in indoor environments, this solution can achieve near human performance in most of the tasks and even surpasses human performance in case of unexpected events such as hardware failures or human operation errors. To best of our knowledge, this is the first work that synthesizes sensor fusion and imitation learning to enable robotic autonomous navigation in the real world without human supervision.

연구 동기 및 목표

• 로봇 주행을 위한 이민드 학습에서 인간 감독의 높은 비용과 정확도 부족 문제를 해결한다.
• 학습 중 반복적인 전문가 질의를 제거하기 위해 인간 레이블링을 센서 융합을 통한 자동 상태 레이블링으로 대체한다.
• 높은 주행 성능를 유지하면서 인간 운영자에 대한 의존도를 최소화하는 견고한 학습 프레임워크를 개발한다.
• 하위최적 센서 정책으로부터의 학습을 기록 정책을 통해 통제함으로써 자기지도 학습 중 안전성을 확보한다.
• 로봇이 최소한의 인간 간섭으로 실제 실내 환경에서 주행을 학습할 수 있으며, 예기치 않은 장애 상황에서는 인간 운영자보다 뛰어난 성능을 발휘할 수 있음을 입증한다.

제안 방법

• 이미징(RGB)과 비이미징(깊이, 자이로스코프) 센서를 융합하여 상태 표현을 생성하는 다중 감각 딥러닝 프레임워크를 활용한다.
• 센서 융합 기반의 하위최적 센서 정책을 설계하여 로봇이 경험한 관측치를 자동으로 레이블링함으로써 인간 레이블링을 대체한다.
• 안전 정책에서 영감을 얻어 하위최적 센서 정책에서 주행 정책으로의 지식 전이 정도를 조절하는 기록 정책을 도입한다.
• 단일 인간 시연을 통해 주행 정책를 초기화한 후, 로봇의 자체 상호작용 데이터를 사용한 자기지도 학습을 수행한다.
• 노이즈가 많거나 잘못된 레이블의 악영향을 줄이기 위해 이민드 학습과 β-가중 기록 정책을 조합한 손실 함수를 적용한다.
• 자율 탐색 중에 수집한 데이터를 통해 주행 정책를 엔드 투 엔드로 훈련시켜 전문가 피드백에 대한 의존도를 최소화한다.

실험 결과

연구 질문

• RQ1 단 한 번의 초기 인간 시범만으로 반복적인 인간 레이블링 없이 로봇 주행 정책를 훈련시킬 수 있는가?
• RQ2 실세계 환경에서 이민드 학습을 위한 신뢰할 수 있는 상태 레이블을 자동으로 생성하기 위해 센서 융합을 활용할 수 있는가?
• RQ3 하위최적 센서 정책이 자기지도 학습 중 인간 감독을 대체하는 데 얼마나 효과적인가?
• RQ4 기록 정책가 하위최적 정책에서의 학습으로 인한 부정적 영향을 어느 정도 완화하는가?
• RQ5 자기지도 주행 정책가 예기치 않은 고장 상황(예: 하드웨어 고장)에서 인간 운영자보다 뛰어난 성능을 발휘할 수 있는가?

주요 결과

• MS3L는 세 가지 실세계 주행 작업 중 두 곳에서 인간 수준의 성능을 달성하여 인간 감독에 대한 의존도를 크게 감소시켰다.
• 컨트롤러에 가우시안 노이즈를 추가하여 시뮬레이션한 하드웨어 고장 상황에서 MS3L는 인간 운영자보다 뛰어난 성능을 보였으며, 인간 운영자는 예기치 않은 사건을 처리하지 못했다.
• 모든 테스트 환경에서 주행 정책가 하위최적 센서 정책의 성능을 초월하여 자기지도 학습 중 효과적인 자기 향상이 이루어졌음을 입증했다.
• DAgger 기준 대비 MS3L는 훈련 데이터의 1/2.8에 불과한 양으로 동일하거나 더 뛰어난 성능를 달성했으며, 초기화 이후 인간 레이블링이 전혀 필요 없었다.
• β = 0.99인 기록 정책가 하위최적 센서 정책에서의 학습으로 인한 악영향을 효과적으로 줄였으며, 시험 간 안정적인 성능을 보였다.
• 깊이 추정 오류로 인해 센서 정책이 자주 실패하는 복잡하고 다이나믹한 환경(예: 붐비는 복도, 혼잡한 교실)에서도 시스템이 견고한 성능를 보였다.