[논문 리뷰] Goal-conditioned dual-action imitation learning for dexterous dual-arm robot manipulation

Hee‐Cheol Kim, Yoshiyuki Ohmura외 1명|arXiv (Cornell University)|2022. 03. 18.

Robot Manipulation and Learning참고 문헌 66인용 수 9

한 줄 요약

이 논문은 안정적인 장거리 운동을 위한 궤적 기반 전역 동작과 정밀한 물체 상호작용을 위한 반응형 국소 동작을 조합함으로써 유연한 双수 조작을 위한 목표 조건부 이중행동 모방 학습(GC-DA)을 제안한다. 목표에 가까워질수록 동작 유형을 전환하여 누적 오차를 감소시키며, 일반 목적의 로봇을 사용해 실제 환경에서 바나나 껍질 벗기기를 성공적으로 수행한다.

ABSTRACT

Long-horizon dexterous robot manipulation of deformable objects, such as banana peeling, is a problematic task because of the difficulties in object modeling and a lack of knowledge about stable and dexterous manipulation skills. This paper presents a goal-conditioned dual-action (GC-DA) deep imitation learning (DIL) approach that can learn dexterous manipulation skills using human demonstration data. Previous DIL methods map the current sensory input and reactive action, which often fails because of compounding errors in imitation learning caused by the recurrent computation of actions. The method predicts reactive action only when the precise manipulation of the target object is required (local action) and generates the entire trajectory when precise manipulation is not required (global action). This dual-action formulation effectively prevents compounding error in the imitation learning using the trajectory-based global action while responding to unexpected changes in the target object during the reactive local action. The proposed method was tested in a real dual-arm robot and successfully accomplished the banana-peeling task. Data from this and related works are available at: https://sites.google.com/view/multi-task-fine.

연구 동기 및 목표

• 정확한 모델이 없고 적응형 기술이 필요한 바나나와 같은 유연한 물체의 장기적·다양한 조작 도전 과제를 해결한다.
• 장기적인 시퀀스에서 반복적인 반응형 동작 예측으로 인한 모방 학습의 누적 오차 문제를 해결한다.
• 작업 맥락에 따라 전역 궤적 기반 동작과 국소 반응형 동작을 구분함으로써 데이터 효율성과 강인성을 향상시킨다.
• 모든 동작 유형이 하위작업 목표에 조건부로 설정된 정책 학습을 가능하게 하여 일반화 능력과 안정성을 향상시킨다.
• 복잡한 다중하위작업 바나나 껍질 벗기기 작업을 수행하는 실제 이중팔 로봇에서 본 방법을 구현한다.

제안 방법

• 전역 동작은 안정적인 운동을 위한 종단간 궤적을 생성하고, 국소 동작은 정밀한 조작을 위한 반응형 상태 차이 동작을 생성하는 이중행동 프레임워크를 도입한다.
• 시각적 및 센서 입력을 기반으로 현재 상태에 전역 동작인지 국소 동작인지 결정하는 학습된 동작 유형 분류기(ATC)를 사용한다.
• 전역 동작과 국소 동작 모두 현재 하위작업의 목표 상태(즉, 목표 상태)에 조건부로 설정함으로써 정책의 강인성과 일반화 능력을 향상시킨다.
• 자기주의 어텐션 롤아웃을 사용한 시각 트랜스포머를 활용해 동작 예측을 위한 관련 입력 특징(예: 물체, 목표, 현재 상태)을 강조하는 어텐션 맵을 계산한다.
• 이미지 증강(명도, 대비, 색조, 채도, 무작위 삭제)과 어텐션 기반 특징 가중치를 적용하여 모델의 일반화 능력을 향상시키고 과적합을 줄인다.
• 모호한 전이를 재표기한 인간의 시연 데이터를 사용해 모델을 훈련함으로써 동작 유형 경계를 정교화하고 정책 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 순수하게 반응형 동작 정책에 비해 이중행동 모방 학습 프레임워크가 장기적 고조작 조작 과제에서 누적 오차를 줄일 수 있는가?
• RQ2 전역 동작과 국소 동작 모두 하위작업 목표에 조건부로 설정할 경우 복잡한 조작 과제에서 정책의 강인성과 성공률이 향상되는가?
• RQ3 궤적 기반 동작과 반응형 동작을 전환하는 하이브리드 동작 전략이 바나나와 같은 탄성 및 형상이 변하는 물체의 효과적인 조작을 가능하게 하는가?
• RQ4 본 방법은 물리적 상호작용과 물체 변동성이 높은 과제를 수행하는 일반 목적의 이중팔 로봇에서 실제 환경 구현에 얼마나 효과적인가?
• RQ5 어텐션 기반 특징 가중치와 데이터 증강은 모방 학습에서 조작에 대한 정책 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 GC-DA 방법은 이중팔 로봇에서 실제 환경에서 바나나 껍질 벗기기를 성공적으로 수행하여 다양한 크기와 형태의 바나나에 대해 전 과제 완료를 달성했다.
• 종단기구가 목표에서 멀리 떨어져 있을 땐 궤적 기반 전역 동작을 사용하고, 직접 물체 상호작용 시에는 반응형 국소 동작으로 전환함으로써 누적 오차를 감소시켰다.
• 859개 에피소드(그립: 369개, 오른쪽 접근: 288개, 왼쪽 접근: 202개)에 대한 인간의 재표기 결과, 동작 유형 전환이 의미 있는 작업 경계에서 발생했음을 확인했다.
• 모델은 동작 유형 분류에서 높은 정확도를 달성했으며, 그립 하위작업에 대해 283개의 표기된 시범 중 2087개가 정확히 분류되었다.
• 평가 기준에 따르면 로봇은 60%의 껍질 벗기기 하위작업에서 완전한 벗기기(점수 1)를 달성했고, 40%는 부분적인 벗기기(점수 0.5)를 달성하여 섬세한 조작에서 강력하지만 완벽하지는 않은 성능을 보였다.
• 어텐션 시각화 결과, 모델이 목표 상태, 물체, 현재 로봇 상태와 같은 관련 특징에 집중하고 있음을 확인하여 어텐션 메커니즘의 해석 가능성과 효과성을 뒷받침했다.