[논문 리뷰] Grasping with Chopsticks: Combating Covariate Shift in Model-free Imitation Learning for Fine Manipulation

Liyiming Ke, Jingqiang Wang외 3명|arXiv (Cornell University)|2020. 11. 13.

Robot Manipulation and Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 소형 도구인 집게를 사용한 정밀 조작에서 공변량 이탈을 줄이기 위해 상호작용이 없는, 모델에 의존하지 않는 이민 학습 방법을 제안한다. 노이즈 주입을 통한 데이터 증강과 물체 중심 상태 변환을 활용하여 정책 일반화를 향상시킨다. 이 방법은 실제 로봇 플랫폼에서 성공률을 37.3%에서 80%로 상승시켜 전문가 성능 82.6%에 가까워졌다.

ABSTRACT

Billions of people use chopsticks, a simple yet versatile tool, for fine manipulation of everyday objects. The small, curved, and slippery tips of chopsticks pose a challenge for picking up small objects, making them a suitably complex test case. This paper leverages human demonstrations to develop an autonomous chopsticks-equipped robotic manipulator. Due to the lack of accurate models for fine manipulation, we explore model-free imitation learning, which traditionally suffers from the covariate shift phenomenon that causes poor generalization. We propose two approaches to reduce covariate shift, neither of which requires access to an interactive expert or a model, unlike previous approaches. First, we alleviate single-step prediction errors by applying an invariant operator to increase the data support at critical steps for grasping. Second, we generate synthetic corrective labels by adding bounded noise and combining parametric and non-parametric methods to prevent error accumulation. We demonstrate our methods on a real chopstick-equipped robot that we built, and observe the agent's success rate increase from 37.3% to 80%, which is comparable to the human expert performance of 82.6%.

연구 동기 및 목표

• 상호작용이 없는 전문가 피드백이나 환경 모델이 없는 모델에 의존하지 않는 이민 학습에서의 공변량 이탈 문제를 해결하기 위해.
• 오직 전문가 시범 데이터만을 사용하여 저자료, 고정밀도 조작 작업에서 정책 일반화를 향상시키기 위해.
• 데이터 지원을 향상시키고 정책 학습 중 누적 오류를 수정하는 확장 가능한 상호작용이 없는 방법을 개발하기 위해.
• 작은, 미끄럽고 조작하기 어려운 물체를 抓기 위해 액추에이티드 집게를 장착한 실제 로봇 시스템에 이 방법을 적용하기 위해.
• 간단한 도구와 최소한의 전문가 상호작용으로 인간 수준의 성능을 달성하기 위해.

제안 방법

• 핵심 그립 상태 근처의 데이터 밀도를 높이기 위해 상태 데이터를 물체 중심 프레임으로 변환하여 국소 정책 학습을 향상시킨다.
• 학습 중에 상태에 정규분포 노이즈를 주입하여 시뮬레이션된 수정 레이블을 생성함으로써 정책의 강인성을 향상시킨다.
• 미리 정의된 파라미터 기반(행동 복제) 및 비모수 기반(k-NN) 방법의 조합을 사용하여 미관측 상태에서의 동작 분포를 일치시킨다.
• 이웃 거리 임계값에 따라 행동 복제와 k-NN 간에 정책을 전환하는 하이브리드 앙상블 정책을 구현하여 정확성과 강인성을 균형 잡는다.
• 평균 제곱오차와 회전 차이 측정법을 사용하여 위치, 회전, 열림 각도 오차를 가중치를 부여한 손실 함수로 조합한다.
• 맞춤형 PID 제어기와 校정을 적용하여 종단 효과기 오차를 10 mm에서 4 mm로 감소시켜 기초 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 모델에 의존하지 않는 이민 학습에서 상호작용이 없는 전문가 피드백이나 환경 모델 없이도 공변량 이탈을 효과적으로 완화할 수 있는가?
• RQ2 상태 공간에서의 노이즈 주입이 정밀 조작 작업에서 정책 일반화에 어떻게 기여하는가?
• RQ3 물체 중심 데이터 변환은 비판적인 그립 영역에서 데이터 지원을 어느 정도 향상시킬 수 있는가?
• RQ4 파라미터 기반과 비모수 기반 방법의 조합이 행동 복제만으로는 달성하기 어려운, 미관측 상태에서의 동작 분포 일치에 얼마나 효과적인가?
• RQ5 제안된 방법은 집게를 사용한 실제 세계의 정밀 조작에서 인간 전문가 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 실제 로봇 시스템의 성공률을 작은 큐브 및 구형 물체를 抓기 위해 37.3%에서 80%로 상승시켜 인간 전문가 성능 82.6%에 근접시켰다.
• 가장 도전적인 물체(작은 공)에 대해 에이전트는 60%의 성공률을 기록했고, 단순 행동 복제 기반 베이스라인은 단지 12%에 그쳤다.
• 제거 실험 결과, 노이즈 주입과 데이터 변환 모두 공변량 이탈 감소와 정책 강인성 향상에 기여한다는 것이 확인되었다.
• 상태 분포의 시각화 결과, 제안된 방법을 사용할 경우 전문가의 상태 분포와의 분산이 감소하는 것으로 나타났다.
• 노이즈 주입 방법은 시뮬레이션된 MuJoCo 환경으로도 잘 일반화되어 실제 테스트베드 외부로의 이식 가능성도 입증되었다.
• 이 방법은 상호작용 기반 데이터 수집이 필요 없음을 확인하여 전문가의 부담을 줄였고, 시범 제공 중 실시간 수정이 필요 없어졌다.