[논문 리뷰] Understanding Multi-Modal Perception Using Behavioral Cloning for Peg-In-a-Hole Insertion Tasks

Yifang Liu, Diego Romeres외 2명|arXiv (Cornell University)|2020. 07. 22.

Robot Manipulation and Learning참고 문헌 24인용 수 9

한 줄 요약

이 논문은 다중 모odal 센서 입력(시각, 힘/토크, 프로피어세프션)을 사용하여 펜을 구멍에 삽입하는 작업에서의 강인성을 향상시키기 위해 다중 단계 앞선 손실 함수를 갖는 행동 복제 기법을 제안한다. 자동화된 시연 데이터로 훈련하고 테스트 시에 종축 위치에 의존하지 않음으로써, 로봇의 전체 작업 영역에서 100% 성공률을 달성하였다. 이는 목표 독립적 제어기가 정밀한 종축 위치 피드백에 의존하는 제어기보다 우수하다는 것을 보여준다.

ABSTRACT

One of the main challenges in peg-in-a-hole (PiH) insertion tasks is in handling the uncertainty in the location of the target hole. In order to address it, high-dimensional sensor inputs from sensor modalities such as vision, force/torque sensing, and proprioception can be combined to learn control policies that are robust to this uncertainty in the target pose. Whereas deep learning has shown success in recognizing objects and making decisions with high-dimensional inputs, the learning procedure might damage the robot when applying directly trial- and-error algorithms on the real system. At the same time, learning from Demonstration (LfD) methods have been shown to achieve compelling performance in real robotic systems by leveraging demonstration data provided by experts. In this paper, we investigate the merits of multiple sensor modalities such as vision, force/torque sensors, and proprioception when combined to learn a controller for real world assembly operation tasks using LfD techniques. The study is limited to PiH insertions; we plan to extend the study to more experiments in the future. Additionally, we propose a multi-step-ahead loss function to improve the performance of the behavioral cloning method. Experimental results on a real manipulator support our findings, and show the effectiveness of the proposed loss function.

연구 동기 및 목표

• 로봇 펜-구멍 삽입 작업에서 시각, 힘/토크, 종축 위치 측정치를 조합하는 것이 효과적인지 조사하기 위해.
• 행동 복제에서 상태 분포 이탈 문제를 해결하기 위해 다중 단계 앞선 손실 함수를 제안하기 위해.
• 목표 위치가 불확실한 상황에서 높은 성능 제어를 위해 종축 위치 측정치가 반드시 필요한지 평가하기 위해.
• 실세계 로봇 조작에서 목표 위치 불확실성 상황에서 원시 센서 데이터 또는 특징 엔지니어링된 입력 중 어느 것이 더 우수한 일반화 성능을 보이는지 결정하기 위해.
• 전체 로봇 작업 영역에서 일반화 가능한 목표 독립적 제어기를 개발하기 위해.

제안 방법

• 저자들은 인간의 시범이 아닌 자동화된 시범 데이터로부터 제어 정책을 학습하기 위해 행동 복제를 사용하여 노이즈와 비용을 감소시켰다.
• 새로운 다중 단계 앞선 손실 함수를 도입하여, 정책이 전문가 경로에 가까운 상태로 이어지는 액션을 다수의 미래 단계(K=2,3)에 걸쳐 예측하도록 훈련시켰다.
• 다중 모달 센서 입력을 조합: 손목 카메라에서의 RGB 이미지, 힘/토크 센서 읽기, 종축 위치 측정치.
• 정책 네트워크는 ResNet 기반 모델로 구현되었으며, 원시 센서 입력과 수작업으로 만든 특징 간 비교를 위한 분석 실험을 실시하였다.
• 훈련 과정은 미래 단계의 액션 예측값과 시범 액션 간의 차이를 최소화하는 지도 학습 목표를 사용하였다.
• 일반화와 목표 위치 불확실성에 대한 강인성을 향상시키기 위해 테스트 시 종축 위치를 직접 사용하지 않도록 하였다.

실험 결과

연구 질문

• RQ1 시각, 힘/토크, 종축 위치 데이터를 조합하면 펜-구멍 삽입 작업 성능이 향상되는가?
• RQ2 실제 로봇 시스템에서 행동 복제의 상태 분포 이탈 문제를 줄이기 위해 다중 단계 앞선 손실 함수가 효과적인가?
• RQ3 성공적인 삽입을 위해 종축 위치 측정치가 반드시 필요한가, 아니면 시각과 힘 피드백만으로도 목표 독립적 제어기를 학습할 수 있는가?
• RQ4 원시 센서 데이터를 사용할 것인지 특징 엔지니어링된 입력을 사용할 것인지가 목표 위치 불확실성 상황에서 일반화 성능에 어떤 영향을 미치는가?
• RQ5 다중 단계 앞선 손실의 수평(K=1,2,3)이 제어기의 성공률과 강인성에 어떤 영향을 미치는가?

주요 결과

• 3단계 앞선 손실 함수는 표준 1단계 앞선 손실 함수보다 유의미하게 뛰어나며, ResNet 기반 제어기는 힘/토크 특징을 사용할 경우 100% 성공률을 달성하였다.
• 2단계 앞선 손실 함수로 훈련된 제어기도 100% 성공률을 달성하여 다중 단계 감시의 효과성을 입증하였다.
• 시각 전용 제어기는 1단계 앞선 손실 함수를 사용할 경우 완전히 실패(0.30% 성공률), 하지만 다중 단계 앞선 손실 함수를 사용할 경우 성능이 크게 향상되었다.
• 가장 뛰어난 성능을 보인 제어기는 힘/토크 특징과 3단계 앞선 손실 함수를 사용하여 전체 로봇 작업 영역에서 100% 성공률을 기록하였다.
• 대부분의 설정에서 원시 센서 데이터가 특징 엔지니어링된 입력보다 우수한 성능을 보였으며, 원시 신호에서의 엔드 투 엔드 학습이 더 효과적임을 시사하였다.
• 종축 위치 측정치는 테스트 시에 해로운 영향을 미쳤다; 이를 제외함으로써 목표 독립적이고 매우 강인한 제어기가 도출되었다.