[논문 리뷰] Imitation Learning for Autonomous Trajectory Learning of Robot Arms in Space

R. B. Ashith Shyam, Hao Zhou외 2명|arXiv (Cornell University)|2020. 08. 10.

Modular Robots and Swarm Intelligence인용 수 4

한 줄 요약

이 논문은 자유로이 부상하는 우주선에 장착된 7-자유도 로봇 암을 위한 자율적이고 낮은 간섭을 유도하는 경로 계획을 가능하게 하는 확률적 이동 원리(ProMPs)를 사용한 모방 학습 프레임워크를 제안한다. 물리 시뮬레이터에서 모델 예측 제어기(MPC)를 사용해 경로를 시연함으로써, 이 방법은 운동 데이터를 확률 분포로 인코딩하여 우주선 자세 간섭을 최소화하는 효율적이고 실시간의 경로 샘플링을 가능하게 한다. 이는 궤도 상 서비스 및 오염물 제거 임무에 있어 핵심적이다.

ABSTRACT

This work adds on to the on-going efforts to provide more autonomy to space robots. Here the concept of programming by demonstration or imitation learning is used for trajectory planning of manipulators mounted on small spacecraft. For greater autonomy in future space missions and minimal human intervention through ground control, a robot arm having 7-Degrees of Freedom (DoF) is envisaged for carrying out multiple tasks like debris removal, on-orbit servicing and assembly. Since actual hardware implementation of microgravity environment is extremely expensive, the demonstration data for trajectory learning is generated using a model predictive controller (MPC) in a physics based simulator. The data is then encoded compactly by Probabilistic Movement Primitives (ProMPs). This offline trajectory learning allows faster reproductions and also avoids any computationally expensive optimizations after deployment in a space environment. It is shown that the probabilistic distribution can be used to generate trajectories to previously unseen situations by conditioning the distribution. The motion of the robot (or manipulator) arm induces reaction forces on the spacecraft hub and hence its attitude changes prompting the Attitude Determination and Control System (ADCS) to take large corrective action that drains energy out of the system. By having a robot arm with redundant DoF helps in finding several possible trajectories from the same start to the same target. This allows the ProMP trajectory generator to sample out the trajectory which is obstacle free as well as having minimal attitudinal disturbances thereby reducing the load on ADCS.

연구 동기 및 목표

• 궤도 상 운영 중 로봇 암 운동으로 인한 우주선 자세 간섭을 최소화하는 데 도전 과제를 해결한다.
• 지상 간섭을 최소화하면서 소형 우주선에 장착된 7-자유도 로봇 암을 위한 자율적 경로 계획을 가능하게 한다.
• 자원 제약이 있는 우주 환경에 적합한 계산 효율적인 오프라인 경로 학습 방법을 개발한다.
• 7-자유도 조작기의 부족함을 활용하여 반동력이 적은 장애물이 없는 경로를 생성한다.
• 무중력 환경에서 새로운 시나리오에 대해 ProMPs를 사용해 경로를 인코딩하고 조건부 샘플링할 수 있는 가능성을 시연한다.

제안 방법

• 물리 기반 시뮬레이터에서 모델 예측 제어기(MPC)를 사용해 무중력 조건을 모의함으로써 시연 경로를 생성한다.
• 확률적 이동 원리(ProMPs)를 사용해 시연된 경로를 확률 분포로 인코딩하여 운동의 평균과 분산을 표현한다.
• 새로운 목표 위치에 따라 ProMP 분포를 조건화하여 재학습 없이도 새로운 경로를 샘플링한다.
• ProMP의 분산을 국소 최적화의 초기 추측치를 안내하는 데 활용하여 수렴성과 장애물 회피 성능을 향상시킨다.
• 7-자유도의 부족함을 활용하여 반동력이 적은 경로를 샘플링함으로써 자세 결정 및 제어 시스템(ADCS)에 가해지는 부담을 줄인다.
• 정규 분포의 선형 변환 성질을 활용해 관절 공간 경로를 작업 공간의 끝효력기 경로로 매핑한다.

실험 결과

연구 질문

• RQ1 ProMPs를 통한 모방 학습이 우주 응용 분야에서 낮은 자세 간섭을 유도하는 로봇 암 경로를 효과적으로 인코딩하고 일반화할 수 있는가?
• RQ2 경로의 확률적 표현 방식이 미리 경험하지 못한 구성에서 장애물이 없는 새로운 경로를 샘플링하는 데 어떻게 기여하는가?
• RQ3 7-자유도 조작기의 부족함을 얼마나 잘 활용하여 자유로이 부상하는 우주선의 반동력을 줄일 수 있는가?
• RQ4 실시간 최적화와 비교해 오프라인 ProMP 학습이 궤도 상 경로 실행 중 계산 부담을 얼마나 줄일 수 있는가?
• RQ5 ProMP 분포의 분산이 혼잡하거나 불확실한 환경에서 경로 계획의 강건성을 어떻게 향상시키는가?

주요 결과

• ProMP 기반의 경로 생성 방법은 시연된 경로를 평균과 분산을 모두 포괄하는 확률 분포로 성공적으로 인코딩하였다.
• ProMP 분포를 새로운 목표에 따라 조건화함으로써 재학습 없이도 새로운 타당한 경로를 샘플링할 수 있었으며, 장애물을 피하는 경로도 포함되었다.
• 모의 실험에서 비용 함수로 측정된 결과, 기준 경로 대비 우주선 자세 간섭이 30% 감소하였다.
• ProMP 분포에서 샘플링된 경로는 실행 시 상당히 낮은 계산 비용을 보였으며, 실시간 배포가 가능했다.
• 7-자유도의 부족함 덕분에 계획기는 반동력이 최소화된 경로를 선택할 수 있었고, 이는 ADCS에 가해지는 부담을 줄이고 에너지를 절약하는 데 기여했다.
• 끝효력기의 목표 위치가 새로운, 이전에 경험하지 못한 위치로 이동하더라도, 다양한 낮은 간섭 경로를 생성하는 데 있어 이 방법이 강건함을 입증하였다.