[논문 리뷰] Assembly robots with optimized control stiffness through reinforcement learning

Masahide Oikawa, Kyo Kutsuzawa외 2명|arXiv (Cornell University)|2020. 02. 27.

Robot Manipulation and Learning참고 문헌 22인용 수 5

한 줄 요약

이 논문은 어댑턴스 제어에 실시간으로 비대칭 강성 행렬을 동적으로 생성하는 강화학습(RL) 기반 방법을 제안한다. 이는 펜치인홀 및 기어 장착과 같은 고정밀 접촉 중심 작업을 가능하게 한다. 강성 행렬을 RL의 행동으로 사용함으로써, 이전 작업 대비 50% 빠른 성능을 기록하며 평균 실행 시간이 2초 이내로 확보되었으며, 불확실성 하에서도 빠른 반응성과 강건성을 입증하였다.

ABSTRACT

There is an increased demand for task automation in robots. Contact-rich tasks, wherein multiple contact transitions occur in a series of operations, are extensively being studied to realize high accuracy. In this study, we propose a methodology that uses reinforcement learning (RL) to achieve high performance in robots for the execution of assembly tasks that require precise contact with objects without causing damage. The proposed method ensures the online generation of stiffness matrices that help improve the performance of local trajectory optimization. The method has an advantage of rapid response owing to short sampling time of the trajectory planning. The effectiveness of the method was verified via experiments involving two contact-rich tasks. The results indicate that the proposed method can be implemented in various contact-rich manipulations. A demonstration video shows the performance. (https://youtu.be/gxSCl7Tp4-0)

연구 동기 및 목표

• 로봇 위치 오차가 존재하는 상황에서도 밀리미터 이하 정밀도가 요구되는 접촉 중심 로봇 조립 작업의 과제를 해결하기 위해.
• 기존 로봇 분야의 강화학습에서 제어 주기 동안 행동 출력 주기가 너무 느려 실시간 제어에 부적합한 문제(일般적으로 >10–20 ms)를 해결하기 위해.
• 기본 참조 경로를 변경하지 않고도 국소 경로 최적화를 향상시키기 위해 온라인, 적응형 강성 조정을 가능하게 하기 위해.
• 복잡한 접촉 전환 상황에서 정확한 물리 모델이나 사전 정의된 히وري스틱에 의존도를 줄이기 위해.
• 특히 좁은 허용 오차(예: 20 µm 간극)를 가진 작업에서 최소한의 실제 실험 데이터로도 실제 환경에서의 강건한 성능을 입증하기 위해.

제안 방법

• 딥 Q러닝을 사용하여 행동으로 비대칭 강성 행렬을 생성하며, 이를 직접 어댑턴스 제어 모델에 적용한다.
• 에이전트는 실시간 힘/토크 및 위치 피드백에 기반해 강성 행렬을 선택함으로써 접촉 상태에 동적으로 적응할 수 있다.
• 행동 공간에는 다섯 개인 비대칭 강성 행렬이 포함되어 있으며, 이 중 하나는 기어 장착 중 회전 정렬을 위해 특별히 설계되었다.
• 제어 주기는 로봇의 실시간 제어 루프와 동기화되어 강성 갱신에 대해 10ms 이내의 반응 시간을 확보한다.
• 경로 계획과 강성 적응을 분리함으로써 표준 경로 계획기와 병렬 작동이 가능해진다.
• 기계적 유연성 솔루션(예: 원격 중심 유연성)과도 호환되어 환경의 불확실성에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습을 사용해 제어 주기 빈도(예: <10 ms)로 실시간으로 강성 행렬을 생성할 수 있는가? 이는 접촉 중심 작업에서 실시간 적응을 가능하게 하는가?
• RQ2 강성 행렬 적응은 參考 경로를 변경하지 않고 국소 경로 최적화를 어떻게 향상시키는가?
• RQ3 힘/토크 및 위치 피드백만을 사용해 RL 에이전트가 정렬을 유도하는 강성 행렬을 학습하여 선택할 수 있는가(예: 구멍 중심 유도)?
• RQ4 초기 위치 오차나 부품 정렬 오류가 존재하는 상황에서 고정밀 작업에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 동일한 제어 아키텍처로 펜치인홀 및 기어 장착과 같은 다양한 접촉 중심 작업을 최소한의 재구성으로 처리할 수 있는가?

주요 결과

• 제안된 방법은 0° 기울기 조건에서 펜치인홀 작업의 평균 실행 시간이 1.64초, 2° 기울기 조건에서 1.87초를 기록하여 이전 최고 성능 대비 50% 향상된 성능을 달성하였다.
• 에이전트는 힘/토크 피드백에 기반해 강성 행렬을 성공적으로 선택하여, 구멍 위치가 알려지지 않은 상태이거나 위치 오차가 존재하는 상황에서도 펜치를 구멍 중심으로 유도하는 데 성공하였다.
• 기어 장착 작업에서는 명시적인 접촉 또는 회전 경로 계획 없이 선형 경로와 가변 강성 제어만으로도 성공적인 정렬 및 장착을 달성하였다.
• 펜치인홀과 기어 장착 작업 간의 탐색 및 장착 시간 분포가 유사하여, 이 방법이 접촉 중심 조작 작업 전반에 걸쳐 일반화 가능함을 시사한다.
• 20 µm 간극과 x-y 방향 ±3 mm의 초깃치 오프셋 조건에서도 일관된 성공률(100회 시험 전부 성공)을 보이며 강건성을 입증하였다.
• 영상 결과(https://youtu.be/gxSCl7Tp4-0)는 모델 기반 히وري스틱 없이도 안정적인 실시간 적응과 성공적인 작업 완료를 보여주었다.