[논문 리뷰] A Lifelong Learning Approach to Mobile Robot Navigation

Bo Liu, Xuesu Xiao외 1명|arXiv (Cornell University)|2020. 07. 28.

Robotic Path Planning Algorithms참고 문헌 35인용 수 8

한 줄 요약

이 논문은 단일 환경에서 경험을 통해 지속적으로 주행 성능을 향상시킬 수 있는 자기지도 학습 프레임워크인 생애주기 주행 학습(LLfN)을 제안한다. 이 방법은 이전에 만난 환경의 기술을 유지하면서도, 환경 외부에서의 경험을 통해 지속적인 학습을 가능하게 하며, 재해적 기억 상실을 방지한다. 보조 정책은 히우리스틱 점수 함수를 통해 식별된 열악한 행동에 기반하여 학습되며, 인간의 지도나 외부 계산 자원이 없이도 실시간으로 차량 내부에서 완전히 실행된다. 이는 순차적 학습보다 우수한 성능을 보이며, 개별 모델과 유사한 효율성을 달성한다.

ABSTRACT

This paper presents a self-improving lifelong learning framework for a mobile robot navigating in different environments. Classical static navigation methods require environment-specific in-situ system adjustment, e.g. from human experts, or may repeat their mistakes regardless of how many times they have navigated in the same environment. Having the potential to improve with experience, learning-based navigation is highly dependent on access to training resources, e.g. sufficient memory and fast computation, and is prone to forgetting previously learned capability, especially when facing different environments. In this work, we propose Lifelong Learning for Navigation (LLfN) which (1) improves a mobile robot's navigation behavior purely based on its own experience, and (2) retains the robot's capability to navigate in previous environments after learning in new ones. LLfN is implemented and tested entirely onboard a physical robot with a limited memory and computation budget.

연구 동기 및 목표

• 경험에 기반해 향상되지 않거나 새로운 환경에 적응할 수 없는 전통적인 정적 주행 시스템의 한계를 해결하기 위해.
• 다양한 환경으로 전이될 때 학습 기반 주행 시스템에서 발생하는 재해적 기억 상실 문제를 해결하기 위해.
• 인간의 지도나 외부 계산 자원이 필요 없이, 로봇이 스스로 생성한 경험을 통해 주행 성능을 향상시키는 자기지도 학습 및 생애주기 학습 프레임워크를 개발하기 위해.
• 제한된 메모리와 처리 능력의 실시간 제약 조건 하에서 물리적 로봇에 완전히 구현하고 검증하기 위해.

제안 방법

• 프레임워크는 경험에 기반하지 않는 정적 샘플링 기반 모델 예측 제어 정책(DWA)으로 초기화된다.
• 운동 지속 시간과 장애물에 가까운 정도를 기반으로 한 히우리스틱 점수 함수를 사용해 열악한 행동을 식별한다.
• 과거 경험 버퍼를 사용해 온라인으로 보조 정책을 학습하며, 유사한 상황에서 잘 수행된 행동을 우선순위로 삼는다.
• 학습 과정은 자기지도 학습 방식이다: 인간의 지도나 보상 형상화를 사용하지 않으며, 대신 로봇이 자신의 실수에서 학습한다.
• 경험 재생과 선택적 미세조정을 통해 이전 환경의 성능 유지 보장을 통해 후방 전이를 보장한다.
• 전체 시스템은 차량 내부의 유일한 CPU와 메모리만을 사용해 구현되며, 환경당 학습 시간이 2분 이내로 이루어진다.

실험 결과

연구 질문

• RQ1 자신의 경험에 기반해 인간의 간섭 없이 또는 외부 보상 없이도, 로봇이 시간이 지남에 따라 주행 성능을 자율적으로 향상시킬 수 있는가?
• RQ2 다양한 구분된 환경을 순차적으로 경험할 때, 학습 기반 주행 시스템이 재해적 기억 상실을 피할 수 있는가?
• RQ3 제한된 계산 자원을 가진 로봇이 자신의 경험을 얼마나 효과적으로 활용해 실시간으로 주행 정책을 개선할 수 있는가?
• RQ4 생애주기 학습 프레임워크의 성능이 순차적 학습 및 각 환경별로 별도로 훈련된 개별 모델과 비교해 어떻게 되는가?

주요 결과

• 환경 1에서 LLfN은 평균 주행 시간 28.32 ± 1.85초를 기록했으며, 순차적 학습 모델(39.11 ± 6.45초)보다 뛰어나고, 개별 모델(30.17 ± 0.97초)과 유사한 성능을 보였다.
• 환경 2에서 LLfN은 평균 시간을 19.98 ± 1.07초로 줄였으며, 순차적 학습 모델(49.41 ± 13.94초)보다 뚜렷이 뛰어나고, 개별 모델(23.41 ± 0.66초)과 유사한 성능을 보였다.
• 환경 3에서 LLfN은 21.80 ± 1.51초를 기록했으며, 개별 모델(21.12 ± 1.17초)과 유사한 성능을 보였고, 순차적 학습 모델(21.12 ± 1.17초)보다 뚜렷이 뛰어났다.
• LLfN은 강력한 후방 전이 성능를 보였으며, 환경 1과 2에서 개별 모델보다 뛰어난 성능를 보여, 다양한 경험에서의 일반화 능력 향상을 시사했다.
• 모든 환경에서 충돌이 발생하지 않았고, 복구 행동도 최소화(0/0)되었으며, 환경 1에서 모든 방법 중 가장 낮은 표준편차를 기록했다.
• 온보드 계산 자원만을 사용했음에도 불구하고, LLfN은 환경당 2분 이내로 학습을 완료해 자원 제약이 있는 하드웨어에서 실시간 실행 가능성을 확인했다.