[논문 리뷰] Learning Gentle Object Manipulation with Curiosity-Driven Deep Reinforcement Learning

Sandy H. Huang, Martina Zambelli외 5명|arXiv (Cornell University)|2019. 03. 20.

Reinforcement Learning in Robotics참고 문헌 36인용 수 45

한 줄 요약

이 논문은 충격 페널티와 페널티 기반의 내재적 호기심 보상을 결합하여 물체를 부드럽게 조작하는 심층 강화 학습 정책을 학습시키며, 시뮬레이션의 텐던 구동 Shadow Hand와 실제 하드웨어에서 시연합니다.

ABSTRACT

Robots must know how to be gentle when they need to interact with fragile objects, or when the robot itself is prone to wear and tear. We propose an approach that enables deep reinforcement learning to train policies that are gentle, both during exploration and task execution. In a reward-based learning environment, a natural approach involves augmenting the (task) reward with a penalty for non-gentleness, which can be defined as excessive impact force. However, augmenting with only this penalty impairs learning: policies get stuck in a local optimum which avoids all contact with the environment. Prior research has shown that combining auxiliary tasks or intrinsic rewards can be beneficial for stabilizing and accelerating learning in sparse-reward domains, and indeed we find that introducing a surprise-based intrinsic reward does avoid the no-contact failure case. However, we show that a simple dynamics-based surprise is not as effective as penalty-based surprise. Penalty-based surprise, based on predicting forceful contacts, has a further benefit: it encourages exploration which is contact-rich yet gentle. We demonstrate the effectiveness of the approach using a complex, tendon-powered robot hand with tactile sensors. Videos are available at http://sites.google.com/view/gentlemanipulation.

연구 동기 및 목표

• 현실 세계의 로봇에서 마모와 손상을 줄이기 위해 안전하고 낮은 충격의 조작을 촉진한다.
• 과도한 접촉이나 힘 없이 조작 과제에서 탐색과 학습을 가능하게 한다.
• 탐색과 실행 모두에서 작업 성능과 부드러움의 균형을 이루는 학습 프레임워크를 개발한다.
• 다양한 내재적 보상(동역학 기반 대 페널티 기반)의 부드러운 조작 유도 효과를 탐구한다.

제안 방법

• 부드러움을 측정된 힘 증가 m_t를 사용하여 상호 작용의 영향을 최소화하는 것으로 정의한다.
• 고임팩트를 방지하기 위해 수용 가능 함수 a_λ(m)로 계산된 충격 페널티 r_t^f를 통해 작업 보상을 보강한다.
• 낮은 페널티 영향에 대한 호기심을 장려하는 페널티 기반 내재 보상 r_t^{s_p}를 도입하며, 예측 모델과 페널티와의 볼록 결합을 통해 구현한다.
• 동역학 기반 서프라이즈 r_t^s와 페널티 기반 서프라이즈 r_t^{s_p}를 비교하고, 작업 보상, 동역학 서프라이즈, 페널티 서프라이즈, 충격 페널티에 대해 각각의 크리틱을 둔다.
• D4PG(Distributed Distributional Deterministic Policy Gradients)를 액터와 다수의 크리틱으로 사용하고, 동역학 모델과 페널티 예측기를 앙상블로 학습시키며; MuJoCo 시뮬레이션과 촉각 센서가 장착된 Shadow Hand에서 적용한다.
• 시뮬레이션에서 20k 스텝, 실제 로봇에서 8k 스텝 이후에 내재 보상을 활성화하는 등 학습 일정 세부 정보를 제공한다.

실험 결과

연구 질문

• RQ1 충격 페널티와 페널티 기반의 내재 보상을 결합하는 것이 부드러운 조작 정책 학습을 가능하게 하는가?
• RQ2 촉각 접촉이 많은 탐색을 촉진하는 데 있어 페널티 기반 서프라이즈가 동역학 기반 서프라이즈보다 더 효과적인가?
• RQ3 이 방법들이 촉각 센싱이 있는 실제 로봇 조작으로 전이되어 성능을 발휘하는가?
• RQ4 다른 보상 보강이 간단한 작업과 취약한 물체 작업 모두에서 학습 속도와 최종 정책의 부드러움에 어떤 영향을 미치는가?

주요 결과

• 작업 보상에 더 영향 페널티와 페널티 기반 서프라이즈를 더한 정책은 시뮬레이션과 실제 로봇에서 모두 낮은 임팩트로 부드럽게 임무를 완수하는 것을 학습한다.
• 충격 페널티와 함께 동역학 기반 서프라이즈만으로는 종종 작업 상호 작용을 배우지 못하거나 탐색이 높은 분산을 보인다.
• 페널티 기반 서프라이즈가 특히 취약 물체 작업에서 더 효과적인 부드러운 접촉 전략을 제공합니다.
• 이 방법은 취약한 블록의 성공적인 조작(낮은 ~ 중간 정도의 임팩트)을 가능하게 하고 비부드러운 기준과 비슷한 속도로 임무를 완료합니다.
• 실제 로봇 실험에서 페널티 기반 서프라이즈가 Shadow Hand에서 학습 속도와 부드러움 측면에서 ICM 및 동역학 기반 서프라이즈를 능가하는 것으로 나타났다.