[논문 리뷰] Learning Object-conditioned Exploration using Distributed Soft Actor Critic

Ayzaan Wahid, Austin V. Stone외 3명|arXiv (Cornell University)|2020. 07. 28.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 8개의 GPU를 사용해 24시간 내에 9800만 개의 경험 스텝을 훈련한 확장 가능하고 분산형 소프트 액터-크리틱(SAC) 강화학습 프레임워크를 제안한다. 이는 시뮬레이션된 로봇 주행 환경에서 종단 간 객체 조건화 탐색과 저수준 제어를 위한 것이다. 시각적으로 복잡한 새로운 주거 환경에서 68%의 성공률과 0.58의 SPL을 달성하며, 명시적 지도 없이 자연스러운 탐색 행동과 연속 제어를 학습한다.

ABSTRACT

Object navigation is defined as navigating to an object of a given label in a complex, unexplored environment. In its general form, this problem poses several challenges for Robotics: semantic exploration of unknown environments in search of an object and low-level control. In this work we study object-guided exploration and low-level control, and present an end-to-end trained navigation policy achieving a success rate of 0.68 and SPL of 0.58 on unseen, visually complex scans of real homes. We propose a highly scalable implementation of an off-policy Reinforcement Learning algorithm, distributed Soft Actor Critic, which allows the system to utilize 98M experience steps in 24 hours on 8 GPUs. Our system learns to control a differential drive mobile base in simulation from a stack of high dimensional observations commonly used on robotic platforms. The learned policy is capable of object-guided exploratory behaviors and low-level control learned from pure experiences in realistic environments.

연구 동기 및 목표

• 레이아웃나 물체 위치에 대한 사전 지식 없이도, 뷰가 복잡하고 비정형적인 환경에서 객체 탐색을 위한 확장 가능한 종단 간 강화학습 정책을 개발하는 것.
• 현실적인 시뮬레이션 환경에서 의미적 탐색(맥락적 단서를 통한 물체 찾기)과 저수준 연속 제어(차량형 듀얼 드라이브 로봇 제어)의 이중 과제를 해결하는 것.
• 순수한 경험 기반 학습에서 명시적 지도 없이도 자연스럽게 발생하는 탐색 행동(예: 방의 안쪽을 들여다보기, 되돌아가기, 보이게 되면 바로 목표 향해 직진하기 등)이 유도될 수 있음을 보여주는 것.
• 센서 모odalities(예: RGBD, LiDAR)가 탐색 성능과 내구성에 미치는 영향, 특히 좁은 통로나 장거리 주행 상황에서의 영향을 평가하는 것.

제안 방법

• 분산형 소프트 액터-크리틱(SAC) 알고리즘을 활용해, 여러 GPU를 통해 병렬로 경험 수집 및 모델 최적화를 수행하는 방법을 사용한다.
• 고차원 관측값(예: RGB, 깊이, LiDAR)을 처리하기 위해 ResNet50 + LSTM 아키텍처를 사용하여 이중 드라이브 로봇의 연속 제어 명령어를 출력한다.
• 실제 주거 환경 스캔 기반의 시뮬레이션 환경에서 물리 모델링을 통해 현실적인 저수준 제어를 구현한 종단 간 훈련을 수행한다.
• 사전 지도나 위치 추적 정보 없이도, 빈티지하고 복잡한 환경에서의 상호작용을 통해 경험을 수집한다.
• 오프-폴리시 데이터를 사용해 정책을 훈련함으로써 샘플 효율성을 극대화하여 경험 수집 비용을 줄인다.
• 센서로는 RGB, 깊이, LiDAR를 사용하며, 물체 검출(Det)이 성능에 미치는 영향에 대한 분석도 수행한다.

실험 결과

연구 질문

• RQ1 명시적 지도 없이도, 하나의 종단 간 정책이 뷰가 복잡하고 실제 세계와 유사한 시뮬레이션 환경에서 객체 조건화 탐색과 저수준 제어를 학습할 수 있는가?
• RQ2 LiDAR나 물체 검출(Det)이 포함될 경우, 특히 장거리나 좁은 통로 상황에서 탐색 성능에 어떤 영향을 미치는가?
• RQ3 순수한 RL 훈련에서 자연스럽게 유도되는 탐색 행동(예: 들여다보기, 원형으로 도는 행동, 되돌아가기 등)은 무엇이 있는가?
• RQ4 기억 한계(예: LSTM)가 장기적 탐색에 어떤 영향을 미치며, 그로 인해 나타나는 고장 모드는 무엇인가?
• RQ5 경험 수집 및 훈련 효율성 측면에서 분산형 SAC 프레임워크의 확장성은 어느 정도인가?

주요 결과

• 시스템은 실제 주거 환경의 새로운 시각적으로 복잡한 스캔 환경에서 68%의 성공률과 0.58의 SPL을 달성하며 강력한 일반화 능력을 보였다.
• 정책은 방의 안쪽을 들여다보기, 360도 뷰를 확보하기 위해 도는 행동, 물체를 찾지 못했을 경우 되돌아가는 등 자연스럽고 맥락 인식 탐색 행동을 학습했다.
• 목표를 뷰로 감지한 후에 비로소 직진 주행이 발생함으로써, 인지와 제어의 효과적인 통합이 이루어졌음을 시사한다.
• LiDAR 사용 시, 특히 좁은 문을 통과할 때 충돌 회피 능력 향상으로 인해 장거리 주행 과제에서 성능이 크게 향상되었다.
• 물체 검출(Det)은 모든 물체 유형에서 성능 향상을 이끌었으며, 특히 작은 물체나 먼 거리에 있는 물체일 경우 두드러졌다. 평균 SPL은 Det 없이 0.28에서 Det 유무에 따라 0.52로 상승했다.
• 이전에 탐색한 영역를 다시 방문하거나, 시야 외부의 막힘 영역에 갇히는 등의 비최적 행동이 나타나, 장기 기억 및 시야 외부 인지의 한계를 보여주었다.