[논문 리뷰] Learning Robot Structure and Motion Embeddings using Graph Neural Networks

Joanne Taery Kim, Jeongeun Park외 2명|arXiv (Cornell University)|2021. 09. 15.

Advanced Graph Neural Networks참고 문헌 25인용 수 6

한 줄 요약

이 논문은 나무 구조 메시지 전파를 사용하여 로봇 운동기구의 구조와 운동 데이터에 대한 저차원 공유 임베딩을 학습하기 위한 그래프 신경망(GNN) 기반 프레임워크를 제안한다. 다중 작업 학습을 통해 정방향 및 역방향 운동학을 함께 훈련함으로써, 운동학적 관계를 반영하는 구조적이고 해석 가능한 임베딩을 생성한다. 이는 유사한 로봇 형태와 자세를 연속적이고 기하학적인 공간에서 연결함으로써 의미 있는 구성의 군집화를 개선하여, MLP 기반 베이스라인을 능가한다.

ABSTRACT

We propose a learning framework to find the representation of a robot's kinematic structure and motion embedding spaces using graph neural networks (GNN). Finding a compact and low-dimensional embedding space for complex phenomena is a key for understanding its behaviors, which may lead to a better learning performance, as we observed in other domains of images or languages. However, although numerous robotics applications deal with various types of data, the embedding of the generated data has been relatively less studied by roboticists. To this end, our work aims to learn embeddings for two types of robotic data: the robot's design structure, such as links, joints, and their relationships, and the motion data, such as kinematic joint positions. Our method exploits the tree structure of the robot to train appropriate embeddings to the given robot data. To avoid overfitting, we formulate multi-task learning to find a general representation of the embedding spaces. We evaluate the proposed learning method on a robot with a simple linear structure and visualize the learned embeddings using t-SNE. We also study a few design choices of the learning framework, such as network architectures and message passing schemes.

연구 동기 및 목표

• 로봇의 운동학적 구조와 운동을 저차원 공유 임베딩 공간에서 포괄적으로 포착하는 표현 학습 프레임워크를 개발하는 것.
• 이미지나 언어 표현에 비해 자주 간과되는 로봇 설계 및 운동 데이터에 대한 체계적인 임베딩 방법의 부족을 해결하는 것.
• 로봇 운동학의 본질적인 나무 구조를 활용해 메시지 전파를 통해 구조적 및 운동학적 관계를 효과적으로 인코딩하는 것.
• 정방향 및 역방향 운동학에서의 다중 작업 학습을 통해 일반화 능력을 향상시키고 과적합을 방지하는 것.

제안 방법

• 이 방법은 Gilmer 등이 제안한 프레임워크를 기반으로 한 나무 구조 메시지 전파 신경망(MPNN)을 사용하여 로봇 운동학 사슬을 노드 및 엣지 특성으로 인코딩한다.
• 루트에서 잎으로 향하는 내림차순 및 잎에서 루트로 향하는 올라가기 방향의 이중 메시지 전파 방식을 구현하여, 구조적 및 운동학적 정보의 계층적 집계를 가능하게 한다.
• 정방향 운동학(FK)과 역방향 운동학(IK) 작업을 다중 작업 학습 환경에서 함께 최적화하여 공유되고 일반적인 목적의 임베딩 공간을 학습한다.
• 재구성 전략으로 인코더-디코더(ED)와 빈칸 메꾸기(FB) 전략을 평가하였으며, FB 전략이 더 나은 세부 정보 유지 및 구조적 구분 능력을 보였다.
• 메시지 생성, 집계, 은닉 상태 갱신 함수를 내림차순 및 올라가기 방향 전부에 적용한 네트워크 아키텍처를 사용한다.
• t-SNE를 사용하여 최종 임베딩을 시각화하고, GNN 기반 접근법과 다층 퍼셉트론(MLP) 기반 베이스라인을 비교한다.

실험 결과

연구 질문

• RQ1 로봇 운동학적 구조와 운동 데이터의 나무 구조적 성질을 활용한 GNN 기반 프레임워크는 의미 있는 저차원 임베딩을 학습할 수 있는가?
• RQ2 정방향 운동학과 역방향 운동학에서의 다중 작업 학습은 단일 작업 학습 대비 학습된 임베딩의 품질과 일반화 능력을 어떻게 향상시키는가?
• RQ3 일방향 전파 대비 왕복 전파와 같은 다양한 메시지 전파 방식은 학습된 임베딩 공간의 구조에 어떤 영향을 미치는가?
• RQ4 표준 MLP와 비교했을 때, 학습된 임베딩은 로봇 형태와 자세의 해석 가능성 및 군집화 측면에서 어떻게 다른가?

주요 결과

• GNN 기반 방법은 구조 임베딩 공간에서 세 개 및 네 개 관절을 가진 로봇에 해당하는 두 개의 명확한 긴 곡선 군집을 생성하여 운동학적 능력에 기반한 의미 있는 분리가 이루어졌음을 나타낸다.
• 반면, MLP 기반 베이스라인은 더 산산이 흩어진 비구조적 분포를 보이며 유사한 형태를 그룹화하지 못하고 해석 가능성도 결여되어 있다.
• GNN를 통해 학습된 자세 임베딩은 첫 번째 관절 각도와 강하게 상관관계를 가지며, 종단기구 도달 가능성에서의 주도적 역할을 반영하는 단일이고 연결된, 길쭉한 군집을 형성한다.
• 빈칸 메꾸기(FB) 재구성 전략은 인코더-디코더(ED) 전략보다 더 구조적이고 세부적인 임베딩을 제공하며, 입력 변형의 더 명확한 분리가 이루어진다.
• 여러 번의 왕복 메시지 전파(3라운드)는 각 관절 수에 따라 원형 군집을 생성하고 소규모 이상치 그룹을 유도하여 깊은 메시지 교환을 통해 더 풍부한 구조적 인코딩이 이루어짐을 시사한다.
• t-SNE 시각화 결과는 GNN 임베딩 공간이 MLP 기반 베이스라인보다 운동학적 관계—예: 도달 가능성, 특이점—을 더 효과적으로 유지하고 있음을 확인한다.