[논문 리뷰] DDCO: Discovery of Deep Continuous Options for Robot Learning from Demonstrations

Sanjay Krishnan, Roy Fox외 2명|arXiv (Cornell University)|2017. 10. 15.

Reinforcement Learning in Robotics인용 수 50

한 줄 요약

DDCO는 Deep Discovery of Options를 연속 제어로 확장하고, 이산-연속 하이레벨 정책과 옵션 수를 선택하는 교차 검증을 도입합니다; 시연으로부터 심층 연속 옵션을 학습하여 로봇 모방에서 더 높은 샘플 효율성과 성공률을 시뮬레이션 및 실제 로봇 작업 전반에서 달성합니다.

ABSTRACT

An option is a short-term skill consisting of a control policy for a specified region of the state space, and a termination condition recognizing leaving that region. In prior work, we proposed an algorithm called Deep Discovery of Options (DDO) to discover options to accelerate reinforcement learning in Atari games. This paper studies an extension to robot imitation learning, called Discovery of Deep Continuous Options (DDCO), where low-level continuous control skills parametrized by deep neural networks are learned from demonstrations. We extend DDO with: (1) a hybrid categorical-continuous distribution model to parametrize high-level policies that can invoke discrete options as well continuous control actions, and (2) a cross-validation method that relaxes DDO's requirement that users specify the number of options to be discovered. We evaluate DDCO in simulation of a 3-link robot in the vertical plane pushing a block with friction and gravity, and in two physical experiments on the da Vinci surgical robot, needle insertion where a needle is grasped and inserted into a silicone tissue phantom, and needle bin picking where needles and pins are grasped from a pile and categorized into bins. In the 3-link arm simulation, results suggest that DDCO can take 3x fewer demonstrations to achieve the same reward compared to a baseline imitation learning approach. In the needle insertion task, DDCO was successful 8/10 times compared to the next most accurate imitation learning baseline 6/10. In the surgical bin picking task, the learned policy successfully grasps a single object in 66 out of 99 attempted grasps, and in all but one case successfully recovered from failed grasps by retrying a second time.

연구 동기 및 목표

• 고차원 관측치를 연속 행동으로 매핑하는 재사용 가능한 계층적 부분 기술(옵션)을 학습하도록 동기를 부여합니다.
• 이산적 옵션을 호출하거나 직접 행동을 수행하기 위해 이산-연속 하이레벨 정책을 개발합니다.
• 수동 튜닝 없이 발견된 옵션의 수를 자동으로 선택하는 오프라인 교차 검증 방법을 도입합니다.

제안 방법

• 하이브리드 출력(이산 옵션과 연속 행동)을 모형화하여 DD0 프레임워크를 연속 제어로 확장합니다.
• 잠재 옵션과 종료를 가진 시연 궤적의 가능도를 최대화하기 위해 기대-그라데이션 방법을 사용합니다.
• 상위 정책을 이산 옵션 또는 직접 제어 중에서 선택할 수 있는 하이브리드 분포로 표현하고, 그에 따른 그래디언트를 제공합니다.
• 폴드에 걸친 교차 검증 스킴을 적용하여 일반화 성능이 가장 좋은 옵션 수를 선택합니다.

실험 결과

연구 질문

• RQ1 DDCO가 로봇 작업을 위한 시연으로부터 심층 연속 옵션을 학습할 수 있나요?
• RQ2 하이브리드 고수준 정책이 단순 정책에 비해 학습 효율성과 일반화를 개선합니까?
• RQ3 작업 특화 튜닝 없이 교차 검증이 옵션의 수를 신뢰할 수 있게 선택할 수 있나요?
• RQ4 학습된 옵션이 시뮬레이션과 실제 로봇 조작 과제에서 어떤 성능을 보이나요?

주요 결과

• DDCO는 3-링크 암 시뮬레이션에서 기초 모방 학습 접근법에 비해 샘플 효율이 약 2배에서 3배 더 높습니다.
• 바늘 삽입에서 DDCO 계층형 정책은 8/10 성공을 달성하여 베이스라인들(다음으로 좋은 모방 베이스라인의 6/10)을 능가했습니다.
• 수술용 쓰레기통 집기에서 학습된 정책은 99회 시도 중 66회에서 단일 물체를 파악했고, 실패의 대부분에서 재시도로 회복하며 비계층적 방법을 능가했습니다.
• DDCO가 학습한 옵션은 해석 가능하며, 각 옵션이 작업 간에 파지, 재배치, 또는 이미지 기반 동작에 특화됩니다.
• 교차 검증된 옵션 수가 최대 작업 보상과 상관 관계를 보여 오프라인에서 옵션 수를 선택할 수 있게 해줍니다.