[논문 리뷰] My Body is a Cage: the Role of Morphology in Graph-Based Incompatible Control

Vitaly Kurin, Maximilian Igl외 3명|arXiv (Cornell University)|2020. 10. 05.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

이 논문은 그래프 기반 강화학습에서 형태학적 구조가 비호환 연속 제어 작업에서 성능을 향상시킨다는 가정을 도전한다. Amorpheus는 명시적인 형태학적 그래프 구조를 무시하는 트랜스포머 기반 방법을 제안하며, 이러한 구조에 의존하는 GNN 기반 방법보다 유의하게 뛰어난 성능을 보이며, 노드 특징만으로도 효과적인 다중작업 학습이 가능하다는 것을 입증한다.

ABSTRACT

Multitask Reinforcement Learning is a promising way to obtain models with better performance, generalisation, data efficiency, and robustness. Most existing work is limited to compatible settings, where the state and action space dimensions are the same across tasks. Graph Neural Networks (GNN) are one way to address incompatible environments, because they can process graphs of arbitrary size. They also allow practitioners to inject biases encoded in the structure of the input graph. Existing work in graph-based continuous control uses the physical morphology of the agent to construct the input graph, i.e., encoding limb features as node labels and using edges to connect the nodes if their corresponded limbs are physically connected. In this work, we present a series of ablations on existing methods that show that morphological information encoded in the graph does not improve their performance. Motivated by the hypothesis that any benefits GNNs extract from the graph structure are outweighed by difficulties they create for message passing, we also propose Amorpheus, a transformer-based approach. Further results show that, while Amorpheus ignores the morphological information that GNNs encode, it nonetheless substantially outperforms GNN-based methods that use the morphological information to define the message-passing scheme.

연구 동기 및 목표

• 그래프 기반 강화학습에서 형태학적 구조를 명시적으로 인코딩하는 것이 비호환 연속 제어 작업에서 성능을 향상시키는지 조사하기.
• 물리적 형태학적 구조에서 유도되는 인도크티브 비이즈가 그래프 신경망(GNN)에서 학습을 향상시킨다는 널리 퍼진 가정을 도전하기.
• 메시지 전파가 희박하게 연결된 그래프에서 어려운 점을 해결하기 위해 완전히 연결된 어텐션 메커니즘을 사용하는 새로운 방법 개발하기.
• 그래프 구조가 성능에 필수적이지 않은 경우 트랜스포머가 GNN보다 다중작업 강화학습에서 뛰어난 성능을 낼 수 있음을 입증하기.
• GNN에 인코딩된 형태학적 정보가 연속 제어 환경에서 학습을 방해할 수 있다는 경험적 증거 제공하기.

제안 방법

• Amorpheus는 다중작업 강화학습에서 상태와 행동 특징을 처리하기 위해 그래프 신경망(GNN) 대신 트랜스포머 기반 아키텍처를 사용한다.
• 각 사지나 신체 부위를 순서상의 별개 토큰으로 간주하여, 물리적 연결 여부에 관계없이 모든 노드 간에 완전한 어텐션을 가능하게 한다.
• 다중 헤드 자기어텐션을 사용하여 관찰의 관련 부분에 동적으로 주목함으로써, 메시지 전파 제약 없이도 민첩한 정보 통합이 가능하다.
• GNN이 물리적 연결에 따라 간선을 통해 정보를 전파하는 데 반해, Amorpheus는 모든 노드 쌍 간의 어텐션 스코어를 계산하여 추론 시에 효과적으로 완전히 연결된 그래프를 생성한다.
• 모델은 표준 딥 강화학습 알고리즘을 사용해 엔드 투 엔드로 훈련되며, 각 비터소 노드가 개별 행동을 출력함으로써 분할된 행동 공간을 가능하게 한다.
• 아키텍처는 샘플 효율성과 강건성을 고려해 설계되어, 희박한 그래프에서의 다단계 메시지 전파가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 GNN의 그래프 구조에 물리적 형태학적 구조를 명시적으로 인코딩하면 다중작업 연속 제어에서 성능이 향상되는가?
• RQ2 형태학적 구조를 무시하는 모델도 여전히 비호환 환경에서 강력한 성능을 낼 수 있는가?
• RQ3 물리적 연결에서 유도되는 인도크티브 비이즈가 GNN 기반 연속 제어에서 학습에 해로운가?
• RQ4 완전히 연결된 어텐션 메커니즘이 이 작업에서 GNN의 구조 기반 메시지 전파를 능가할 수 있는가?
• RQ5 형태학적 구조에 무관한 모델은 훈련 중에 어떤 잠재적 행동 패턴을 보이는가?

주요 결과

• 아블레이션 분석 결과, SMP나 NerveNet와 같은 GNN 기반 방법에서 형태학적 정보를 제거해도 성능 저하가 발생하지 않아, 구조적 비이즈가 유의미한 이점을 제공하지 않는다는 것을 확인했다.
• Amorpheus는 비호환 연속 제어 벤치마크에서 최종 성능과 샘플 효율성 측면에서 GNN 기반 기준선을 뛰어넘었다.
• 모델은 걸음걸이 주기와 일치하는 비트리비어스, 순환적인 어텐션 패턴을 학습함으로써, 명시적 구조적 사전 지식 없이도 시간적·공간적 조율을 포착했다.
• 물리적 연결성을 무시함에도 불구하고 Amorpheus는 다양한 형태학적 특성을 가진 작업 간에 강력한 일반화 성능을 보였으며, 이는 노드 특징만으로도 효과적인 정책 학습이 가능하다는 것을 시사한다.
• 결과적으로, 희박하게 연결된 그래프에서 메시지 전파 학습이 어렵고, 물리적 구조의 인도크티브 비이즈가 학습을 방해할 수 있다는 점이 드러났다.
• Amorpheus는 입력 그래프 구조가 임의적이거나 정보가 없더라도, 트랜스포머가 연속 제어에서 분할된 상태 및 행동 공간을 효과적으로 다룰 수 있음을 입증했다.