[논문 리뷰] Adversarial Skill Chaining for Long-Horizon Robot Manipulation via Terminal State Regularization

Youngwoon Lee, Joseph J. Lim외 2명|arXiv (Cornell University)|2021. 11. 15.

Reinforcement Learning in Robotics참고 문헌 49인용 수 5

한 줄 요약

이 논문은 종료 상태 정규화를 사용하여 하위작업 정책의 종료 분포를 다음 정책의 시작 집합에 가깝게 유지함으로써 누적적인 상태 커버리지 증가를 방지하는 적대적 스킬 체이닝 프레임워크인 T-STAR를 제안한다. 이 방법은 복잡한 IKEA 가구 조립 작업에 대해 모델 프리 강화 학습 솔루션을 처음으로 가능하게 하여, 각각 56% 및 87%의 성공률을 달성했으며, 이는 이전의 스킬 체이닝 베이스라인들이 완전히 실패하거나 낮은 성공률을 기록한 것과 대비된다.

ABSTRACT

Skill chaining is a promising approach for synthesizing complex behaviors by sequentially combining previously learned skills. Yet, a naive composition of skills fails when a policy encounters a starting state never seen during its training. For successful skill chaining, prior approaches attempt to widen the policy's starting state distribution. However, these approaches require larger state distributions to be covered as more policies are sequenced, and thus are limited to short skill sequences. In this paper, we propose to chain multiple policies without excessively large initial state distributions by regularizing the terminal state distributions in an adversarial learning framework. We evaluate our approach on two complex long-horizon manipulation tasks of furniture assembly. Our results have shown that our method establishes the first model-free reinforcement learning algorithm to solve these tasks; whereas prior skill chaining approaches fail. The code and videos are available at https://clvrai.com/skill-chaining

연구 동기 및 목표

• 장수평 로봇 조작에서 정책 시퀀싱이 종료 상태와 시작 상태 간의 분포 이탈로 인해 실패하는 문제를 해결한다.
• 이전 방법들이 시작 집합을 넓힘으로써 종료 집합이 기하급수적으로 증가하고, 장수평 스킬 체인에서 스케일이 잘 안 되는 한계를 극복한다.
• 후속 정책의 시작 집합과 일치하는 작은 크기의 종료 상태 분포를 유지함으로써 효율적이고 확장 가능한 스킬 체이닝을 가능하게 하는 방법을 개발한다.
• 수동적인 작업 분해나 엔지니어링 없이도 복잡하고 접촉 기반의 조작 작업, 예를 들어 IKEA 가구 조립과 같은 작업에 대해 종단 간 모델 프리 강화 학습의 가능성을 입증한다.
• 적대적 정규화를 통한 종료 상태 조정을 통해 독립적으로 훈련된 하위작업 정책의 안정적이고 순차적인 실행을 가능하게 한다.

제안 방법

• 다음 정책의 시작 집합과 현재 정책의 종료 상태를 구분하는 디스criminator를 갖는 적대적 학습 프레임워크를 도입한다.
• 디스criminator의 손실을 정규화 신호로 사용하여 하위작업 정책를 미세조정함으로써, 종료 상태가 다음 정책의 정책 네트워크 도메인 내에 집중되도록 유도한다.
• 각 정책의 행동을 반복적으로 개선하여, 최종 상태가 다음 정책의 정책 네트워크의 정의 도메인 내에 있도록 하며, 분포 이탈을 최소화한다.
• 정책 출력에 정규화를 적용하여 종료 상태 분포를 작고 제한된 영역으로 유지함으로써, 상태 공간의 관리하기 어려운 영역으로 퍼짐을 방지한다.
• 사전 훈련된 하위작업 정책의 미세조정 기간 동안 이러한 정규화를 적용함으로써, 공동 훈련이나 대규모 데이터 수집 없이도 안정적이고 효율적인 체이닝을 가능하게 한다.
• 주성분 분석(PCA)을 사용하여 물체 상태 구성의 변화를 시각화하고 훈련 중 종료 상태 분포의 진화를 분석한다.

실험 결과

연구 질문

• RQ1 장수평 스킬 체이닝에서 종료 상태 정규화가 시작 집합 요구량의 누적 증가를 방지할 수 있는가?
• RQ2 수동적인 작업 분해나 엔지니어링 없이도 모델 프리 강화 학습 접근법이 복잡하고 접촉 기반의 조작 작업, 예를 들어 IKEA 가구 조립과 같은 작업을 성공적으로 해결할 수 있는가?
• RQ3 종료 상태의 적대적 정규화는 단순한 정책 체이닝이나 시작 집합 확장 대비 순차적 정책 실행의 성공률을 어떻게 향상시키는가?
• RQ4 훈련 중 종료 상태 정책의 크기와 산란 정도가 종료 상태 정규화에 의해 얼마나 제한되는가?
• RQ5 이 방법은 다수의 하위작업과 복잡한 역학을 포함하는 다양한 고차원 조작 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 T-STAR 방법은 의자_ingolf 가구 조립 작업에서 정책 시퀀싱 베이스라인의 0% 대비 56%의 성공률을 기록하여, 이 작업에 대해 처음으로 성공한 모델 프리 솔루션임을 입증한다.
• 테이블_lack 작업에서는 베이스라인의 59%에서 T-STAR가 87%로 성공률을 향상시켜 안정성과 확장성 향상이 뚜렷하게 나타났다.
• PCA 시각화를 통한 정성적 분석 결과, T-STAR의 종료 상태 분포는 시간이 지남에 따라 유한하고 수축하는 것으로 확인되었으며, 반면 베이스라인의 분포는 크게 산산이 흩어져 불안정성을 나타냈다.
• T-STAR의 제한된 종료 상태 분포는 후속 정책의 커버리지 요구량을 줄이며, 여러 스킬에 걸쳐 효율적인 미세조정과 안정적인 체이닝을 가능하게 한다.
• 이 방법은 이전의 스킬 체이닝 접근법이 실패하는 접촉 기반 역학을 포함한 복잡한 고자유도도의 조작 작업에 대해 다수의 닫힌 루프 정책을 성공적으로 체이닝하였다.
• 결과적으로 종료 상태 정규화가 정책 시퀀스 간의 분포 이탈을 효과적으로 완화하여, 대규모 또는 복잡한 시작 집합이 필요 없이 장수평 작업 실행을 가능하게 한다는 것이 입증되었다.