[논문 리뷰] Imitation Learning for Object Manipulation Based on Position/Force Information Using Bilateral Control

Tsuyoshi Adachi, Kazuki Fujimoto외 2명|arXiv (Cornell University)|2018. 11. 09.

Robot Manipulation and Learning참고 문헌 14인용 수 4

한 줄 요약

이 논문은 인간의 시연에서 위치 및 힘 정보를 분리하고 활용할 수 있도록 양방향 제어를 사용한 이민 학습 프레임워크를 제안한다. 4채널의 양방향 제어를 통해 수집된 데이터를 바탕으로, 위치/힘 명령을 학습하는 하나의 순환 신경망(RNN) 모델과 토크 기준값을 학습하는 다른 하나의 RNN 모델을 훈련시킴으로써, 시각 센서에 의존하지 않고 체르크와 프로트랙터 위에서 직선과 곡선을 그리는 안정적이고 적응 가능한 물체 조작을 구현한다. 이는 힘 피드백이 훈련되지 않은 조건에서 성공률과 내성에 크게 기여함을 보여준다.

ABSTRACT

This study proposes an imitation learning method based on force and position information. Force information is required for precise object manipulation but is difficult to obtain because the acting and reaction forces cannnot be separated. To separate the forces, we proposed to introduce bilateral control, in which the acting and reaction forces are divided using two robots. In the proposed method, two models of neural networks learn a task; to draw a line along a ruler. We verify the possibility that force information is essential to imitate the human skill of object manipulation.

연구 동기 및 목표

• 변동하는 환경 조건에서 로봇의 조작 능력 향상 문제를 해결하기 위해.
• 기존의 이민 학습에서 자주 간과되는 위치 및 힘 피드백을 활용해 인간과 유사한 조작 기술을 로봇이 학습할 수 있도록 하기 위해.
• 주로 마스터-슬레이브 로봇을 사용한 양방향 제어를 통해 인간 시연 중 힘 신호의 분리 문제를 해결하기 위해.
• 위치 및 영상 데이터 외에도 힘 정보가 로봇 조작 과제의 학습 성능 향상에 기여하는지 평가하기 위해.
• 힘 제어를 활용해 더 높은 작업 내성과 안정성을 확보할 수 있는 일반화 가능한 이민 학습 프레임워크를 개발하기 위해.

제안 방법

• 양방향 제어를 통해 마스터 로봇(인간의 입력용)과 슬레이브 로봇(환경 상호작용용)을 사용함으로써 작용력과 반작용력을 분리하고, 힘과 위치 데이터를 별도로 기록한다.
• 두 개의 RNN 모델을 훈련한다: 하나는 위치 및 힘 명령을 학습하고, 다른 하나는 기록된 양방향 제어 데이터에서 토크 기준값을 학습한다.
• 마스터 및 슬레이브 로봇에 부착된 위치 센서와 6축 힘/토크 센서의 데이터를 사용해 인간의 조작 역학을 캡처한다.
• RNN의 훈련 안정성과 수렴성을 향상시키기 위해 입력 데이터에 정규화 기법을 적용한다.
• 훈련된 RNN이 슬레이브 로봇의 제어 명령을 생성하여 시연된 조작 과제를 재현한다.
• 자기 도구에 대한 사전 지식 없이, 체르크를 따라 직선을 그리고 프로트랙터를 따라 곡선을 그리는 과제와 같은 실험을 수행한다.

실험 결과

연구 질문

• RQ1 힘 정보가 로봇의 이민 학습 성공률 향상에 뚜렷한 영향을 미칠 수 있는가?
• RQ2 양방향 제어를 통한 힘과 위치 데이터 통합이 학습된 조작 기술의 일반화 능력을 어떻게 향상시키는가?
• RQ3 힘/위치 명령을 기반으로 훈련된 RNN 모델과 토크 기준값을 기반으로 훈련된 RNN 모델 간의 안정성 및 성공률에서의 성능 비교는 어떠한가?
• RQ4 힘과 위치 데이터를 기반으로 학습할 경우, 기존에 훈련된 기울기나 도구(예: 프로트랙터) 외부의 조건에서도 로봇이 얼마나 잘 일반화할 수 있는가?
• RQ5 고정밀 시각 센서 없이도 힘 피드백과 RNN 기반 제어에 의존함으로써 안정적이고 정확한 조작을 달성할 수 있는가?

주요 결과

• 15도 기울기에서, 위치 및 힘 명령을 학습하는 RNN 모델(Model 1)은 90%의 성공률를 기록했고, 토크 기준값을 학습하는 모델(Model 2)은 75%로 떨어졌다.
• 45도 기울기에서는 두 모델의 성공률가 유사하게 나타났다(모델 1: 65%, 모델 2: 70%), 기울기가 더 급격해지면서 내성 능력 향상이 확인되었다.
• 실패 상황에서도 모델 2는 제어를 유지하는 등 더 높은 안정성을 보였고, 반면 모델 1은 과도한 힘 작용이나 토크 분산으로 인해 불안정성과 발산 현상을 겪었다.
• 모델 1의 실패 원인은 주로 과도한 힘 작용 또는 토크 분산이었고, 모델 2는 표면에서의 접촉 상실로 인해 실패했다. 이는 모델 2가 더 뛰어난 제어 내성 능력을 지녔음을 시사한다.
• 프로트랙터를 사용한 곡선 그리기 과제에 대해 사전 훈련 데이터 없이도 로봇이 성공적으로 곡선을 그렸으며, 이는 힘 기반 이민 학습 접근법의 일반화 능력을 확인한다.
• 센서 데이터에서 유도된 궤적은 실제 그린 궤적과 완벽하게 일치하지 않았지만, 물리적 결과는 정확했으며, 이는 고정밀 위치 센서 없이도 힘 제어만으로도 정밀한 조작이 가능함을 증명한다.