[논문 리뷰] Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance Action Space

Maximilian Ulmer, Elie Aljalbout외 2명|arXiv (Cornell University)|2021. 10. 19.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 깊이 강화학습(DRL)의 표본 비효율성과 안정성 문제를 해결하기 위해 생물학적으로 영감을 얻은 계층적 행동 공간 AFORCE를 제안한다. AFORCE는 강화학습(RL)과 실시간 적응형 힘-임피던스 제어를 융합하여 표본 효율성, 에너지 효율성, 안전성을 향상시킨다. 고수준 작업 계획과 저수준 물리적 상호작용 제어를 분리함으로써 AFORCE는 실제 하드웨어에서 안정적이고 유연한 조작을 가능하게 하며, 시뮬레이션 및 실제 접촉이 풍부한 작업에서 기준 행동 공간을 능가한다.

ABSTRACT

Intelligent agents must be able to think fast and slow to perform elaborate manipulation tasks. Reinforcement Learning (RL) has led to many promising results on a range of challenging decision-making tasks. However, in real-world robotics, these methods still struggle, as they require large amounts of expensive interactions and have slow feedback loops. On the other hand, fast human-like adaptive control methods can optimize complex robotic interactions, yet fail to integrate multimodal feedback needed for unstructured tasks. In this work, we propose to factor the learning problem in a hierarchical learning and adaption architecture to get the best of both worlds. The framework consists of two components, a slow reinforcement learning policy optimizing the task strategy given multimodal observations, and a fast, real-time adaptive control policy continuously optimizing the motion, stability, and effort of the manipulator. We combine these components through a bio-inspired action space that we call AFORCE. We demonstrate the new action space on a contact-rich manipulation task on real hardware and evaluate its performance on three simulated manipulation tasks. Our experiments show that AFORCE drastically improves sample efficiency while reducing energy consumption and improving safety.

연구 동기 및 목표

• 실세계 로봇 조작 작업에서 깊이 강화학습의 표본 비효율성과 불안정성을 해결하기 위해.
• 빠른 반응형 적응 제어와 느린 전략적 RL 정책 학습을 통합하여 성능을 향상시키기 위해.
• 접촉이 풍부한 작업 중 힘과 임피던스의 연속적 적응을 가능하게 하는 새로운 행동 공간을 개발하기 위해.
• 시뮬레이션과 실제 하드웨어에서의 평가를 통해 표본 효율성, 에너지 소비 및 안전성에 중점을 두기 위해.
• 계층적 제어와 생물학적으로 영감을 얻은 행동 공간이 복잡한 조작 작업에서 표준 RL 행동 공간을 능가할 수 있음을 입증하기 위해.

제안 방법

• AFORCE는 고수준 작업 정책과 저수준 물리적 상호작용 제어를 분리하는 카르테시안 적응형 힘-임피던스 제어 행동 공간을 도입한다.
• 고수준 RL 정책은 작은 다중모드 관측 공간을 사용하여 작업 전략을 계획하고, 저수준 적응 제어기는 안정성과 유연성 확보를 위해 힘과 임피던스를 지속적으로 조정한다.
• 프레임워크는 인간 운동 제어를 영감으로 삼은 계층적 제어 아키텍처를 사용하며, RL 정책이 원하는 힘과 임피던스 파라미터를 설정하고, 적응 제어기가 실시간으로 이를 실행한다.
• 행동 공간은 기계적 임피던스와 접촉 힘의 연속적이고 반응적인 적응을 지원하도록 설계되어, 외란 제거 및 에너지 효율성에 핵심적이다.
• 방법은 세 가지 작업(Lift, Wipe, Door)에 대해 시뮬레이션에서 평가되었고, Franka Emika Panda 로봇을 사용하여 실제 하드웨어에서 검증되었다.
• 스프링 강성과 점성 감쇠 등의 적응 파라미터는 수동으로 튜닝되었지만, 향후 연구에서는 정책과 함께 함께 학습하고자 한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 얻은 계층적 행동 공간은 깊이 강화학습을 통한 로봇 조작에서 표본 효율성을 향상시킬 수 있는가?
• RQ2 AFORCE는 표준 행동 공간과 비교해 학습 안정성과 수렴 속도 측면에서 어떻게 다른가?
• RQ3 AFORCE는 접촉이 풍부한 조작 작업에서 에너지 효율성과 안전성 향상에 어느 정도 기여하는가?
• RQ4 실시간 적응 제어와 RL의 통합은 실제 하드웨어에서 안정적이고 유연한 행동을 이끌 수 있는가?
• RQ5 작업 계획과 물리적 상호작용 제어의 분리가 강건성과 성능 향상에 기여하는가?

주요 결과

• AFORCE는 Wipe 작업에서 단지 500,000개의 학습 스텝 후 일관된 최대 보상을 달성했으며, 학습 속도와 성공률 모두 모든 기준보다 뛰어났다.
• Wipe 작업에서 AFORCE는 몇 번의 학습 에피소드 만에 모든 오염 마커를 제거했지만, 다른 방법들은 일관된 접촉 또는 힘 제어를 유지를 하지 못했다.
• AFORCE는 Wipe 환경에서 변수 및 변수+힘 행동 공간과 비교해 평균 에너지 소비를 감소시켰다.
• AFORCE는 모든 방법 중에서 가장 낮은 보상 감점 비율을 기록했으며, Wipe 작업에서 안전성 감점을 받은 에피소드 비율이 12%에 불과했고, 변수 기반 행동 공간은 75% 이상이었다.
• low+force 행동 공간은 평균 에피소드 당 감점 수가 가장 낮았던 17.16이었지만, AFORCE는 17.76으로 매우 유사한 성능를 보였고, 변수 기반 공간은 평균 400건 이상의 감점 수를 기록했다.
• AFORCE는 다양한 무작위 시드에서 낮은 보상 분산을 보이며 안정적인 학습을 보였고, 이는 강력한 정책 수렴을 시사한다.