[논문 리뷰] Spatial Attention Point Network for Deep-learning-based Robust Autonomous Robot Motion Generation

Hideyuki Ichiwara, Hiroshi Ito외 3명|arXiv (Cornell University)|2021. 03. 02.

Robot Manipulation and Learning참고 문헌 15인용 수 11

한 줄 요약

이 논문은 RGB 이미지에서 작업에 핵심적인 공간적 주의점(예: 로봇 손과 대상 물체)을 자동으로 탐지함으로써 배경, 조명, 장애물 변화에 영향을 받지 않도록 하여 강건하고 일반화 가능한 로봇 운동 생성을 가능하게 하는 공간 주의점 신경망(SAPN)을 제안한다. 이 방법은 CNN-LSTM 아키텍처를 사용하며, 함께 이미지 재구성 작업을 수행하여 주의점의 안정성을 확보하여, 다양한 물체 위치에서 최소한의 재학습으로 88% 이상의 성공률을 달성한다.

ABSTRACT

Deep learning provides a powerful framework for automated acquisition of complex robotic motions. However, despite a certain degree of generalization, the need for vast amounts of training data depending on the work-object position is an obstacle to industrial applications. Therefore, a robot motion-generation model that can respond to a variety of work-object positions with a small amount of training data is necessary. In this paper, we propose a method robust to changes in object position by automatically extracting spatial attention points in the image for the robot task and generating motions on the basis of their positions. We demonstrate our method with an LBR iiwa 7R1400 robot arm on a picking task and a pick-and-place task at various positions in various situations. In each task, the spatial attention points are obtained for the work objects that are important to the task. Our method is robust to changes in object position. Further, it is robust to changes in background, lighting, and obstacles that are not important to the task because it only focuses on positions that are important to the task.

연구 동기 및 목표

• 딥 러닝 기반 로봇 운동 생성에서 물체 위치가 변할 경우에 발생하는 높은 데이터 요구량 문제를 해결하기 위해.
• 모든 물체 위치에 대한 광범위한 훈련 데이터에 의존하는 것을 줄이고, 알려지지 않은 위치로의 일반화를 가능하게 하기 위해.
• 작업과 관련된 공간적 특징에만 집중함으로써 배경의 혼잡함, 조명 변화, 장애물에 대한 강건성을 향상시키기 위해.
• 최소한의 레이블링된 데이터를 사용하여 다양한 실제 환경 상황에서 일반화 가능한 운동 생성 모델을 개발하기 위해.

제안 방법

• 모델은 세 부분으로 구성된 아키텍처를 사용한다: 특징 추출을 위한 인코더(CNN), 시간적 모델링을 위한 순환 모듈(LSTM), 운동 예측을 위한 디코더.
• 공간 주의점은 네트워크 내부의 주의 메커니즘을 통해 이미지 내 핵심 위치(예: 로봇 손, 대상 물체)로 자동으로 식별된다.
• 운동 생성 작업과 함께 이미지 재구성 헤드를 훈련시켜 공간적 특징의 일관성을 강제함으로써 주의점 탐지의 안정성을 향상시킨다.
• 실제 LBR iiwa 7R1400 로봇으로부터의 실제 RGB 이미지와 해당하는 로봇 운동 궤적을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 주의 메커니즘은 작업과 관련된 영역(예: 물체, 손)만 집중적으로 고려하고, 관련 없는 배경과 장애물은 무시한다.
• 절대 위치에 의존하지 않는 공간적 관계를 학습함으로써, 알려지지 않은 물체 위치로의 일반화가 가능해진다.

실험 결과

연구 질문

• RQ1 최소한의 훈련 데이터로 물체 위치가 변하는 상황에서도 딥 러닝 모델이 강건한 로봇 운동을 생성할 수 있는가?
• RQ2 공간 주의 메커니즘은 환경 변화가 있는 상황에서 로봇 운동 생성의 일반화를 어떻게 향상시킬 수 있는가?
• RQ3 공동 이미지 재구성은 공간 주의점 탐지의 안정성과 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 훈련 중에 볼 수 없었던 배경, 조명, 장애물 변화가 있는 상황에서도 모델이 높은 성능을 유지할 수 있는가?
• RQ5 모델의 내부 LSTM 상태는 작업 수행 중 물체와 목표 위치의 변화에 어떻게 반응하는가?

주요 결과

• 모든 테스트 상황에서 테스트된 위치를 포함하여, 집기 작업에서 모델은 88.5% ± 5.8%의 작업 성공률을 달성하였다.
• 집기 및 놓기 작업에서는 상황 (ii)에서 93.5% ± 4.5%의 높은 성공률을 유지하였고, 상황 (iii)과 (iv)에서는 각각 88.0% ± 5.9%의 높은 성공률을 기록하여 위치 및 환경 변화에 대한 강건성을 입증하였다.
• 모든 시나리오에서 로봇 손과 대상 물체에 공간 주의점이 성공적으로 국소화되었으며, 알려지지 않은 위치에 놓인 물체에도 적용 가능했다.
• 배경, 조명, 장애물 변화에 대해 뚜렷한 저항성을 보였으며, 주의점은 안정적이고 작업과 관련된 상태를 유지하였다.
• 내부 LSTM 상태는 물체와 목표 위치의 변화에 따라 동적으로 이동하였으며, 모델이 새로운 공간 구성을 적응할 수 있음을 확인하였다.
• 공동 이미지 재구성은 주의점의 안정성을 크게 향상시켰으며, 다양한 입력 조건에서도 일관된 공간 국소화가 이루어짐을 입증하였다.