[논문 리뷰] Graph Decision Transformer

Shengchao Hu, Li Shen외 2명|arXiv (Cornell University)|2023. 03. 07.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 상태-행동-보상 순서를 보다 효과적으로 시간적 및 인과적 종속성을 포착하기 위해 인과 그래프로 모델링하는 새로운 오프라인 강화학습 방법인 그래프 결정 트랜스포머(GDT)를 제안한다. 관계 강화된 어텐션을 갖춘 그래프 트랜스포머와 시각 입력을 위한 선택적 시퀀스 트랜스포머를 사용함으로써, GDT는 아타리 및 오픈AI 겸자 벤치마크에서 최신 기술 수준의 성능을 달성하며, 장수열 및 고정보 밀도 환경에서 기존 방법들을 능가한다.

ABSTRACT

Offline reinforcement learning (RL) is a challenging task, whose objective is to learn policies from static trajectory data without interacting with the environment. Recently, offline RL has been viewed as a sequence modeling problem, where an agent generates a sequence of subsequent actions based on a set of static transition experiences. However, existing approaches that use transformers to attend to all tokens naively can overlook the dependencies between different tokens and limit long-term dependency learning. In this paper, we propose the Graph Decision Transformer (GDT), a novel offline RL approach that models the input sequence into a causal graph to capture potential dependencies between fundamentally different concepts and facilitate temporal and causal relationship learning. GDT uses a graph transformer to process the graph inputs with relation-enhanced mechanisms, and an optional sequence transformer to handle fine-grained spatial information in visual tasks. Our experiments show that GDT matches or surpasses the performance of state-of-the-art offline RL methods on image-based Atari and OpenAI Gym.

연구 동기 및 목표

• 표준 트랜스포머가 오프라인 강화학습에서 상태, 행동, 보상 간의 종속성을 효과적으로 모델링하지 못하는 한계를 해결하기 위해.
• 비마르코프 환경에서 장수열 종속성 학습을 향상시키기 위해 입력 시퀀스에 인과 관계를 명시적으로 인코딩하기 위해.
• 패치 단위로 인코딩하는 시퀀스 트랜스포머를 통합하여 시각 입력의 세밀한 공간 정보를 유지하기 위해.
• 보상 형태로의 복귀-목표(return-to-go) 보정에 의존도를 줄이기 위해 입력 표현에 인과적 구조를 통합하기 위해.
• 아타리 및 오픈AI 겸자와 같은 이미지 기반 오프라인 RL 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 상태-행동-보상 트리플릿의 입력 시퀀스를 인과 그래프로 변환하며, 노드는 토큰을 나타내고 간선은 시간적 및 인과적 관계를 인코딩한다.
• 그래프 어텐션 메커니즘에서 노드 임베딩과 간선 임베딩을 사용해 쿼리(Q) 및 키(K) 행렬을 계산하고, 값(V)에는 오직 노드 임베딩만 사용한다.
• 그래프 구조 입력을 처리하기 위해 그래프 트랜스포머를 적용하여 장기 종속성과 인과 사전 지식의 효과적인 모델링을 가능하게 한다.
• 이미지 상태를 패치로 처리하는 선택적 시퀀스 트랜스포머를 통합하여 시각 작업의 공간 특징 추출을 향상시킨다 (ViT 유사).
• 그래프 트랜스포머와 시퀀스 트랜스포머를 세 가지 방법으로 연결한다: 대체(replace), 융합(fusion), 스택(stack)이며, 고정보 밀도 환경에서는 스택 연결이 가장 뛰어난 성능을 보였다.
• 모델을 지도 학습 시퀀스 모델링 과제로 학습시키며, 입력 그래프와 선택적 시각 인코딩에 조건부로 행동 시퀀스를 예측한다.

Figure 1: Comparison of GDT and DT. GDT employs additional edge embeddings and node embeddings to obtain Q and K, while using only node embeddings to obtain V.

실험 결과

연구 질문

• RQ1 표준 순차 모델링과 비교해 오프라인 RL 입력을 인과 그래프로 모델링하는 것이 장기 종속성 학습에 향상되는가?
• RQ2 상태, 행동, 보상 간의 명시적 인과 관계를 통합할 경우 비마르코프 환경에서 성능에 어떤 영향을 미치는가?
• RQ3 관계 강화된 어텐션을 갖춘 그래프 트랜스포머가 오프라인 RL 벤치마크에서 표준 트랜스포머를 능가하는가?
• RQ4 선택적 시퀀스 트랜스포머가 시각 RL 환경에서 행동 예측 성능에 얼마나 기여하는가?
• RQ5 GDT의 성능는 특히 복귀-목표 의존도를 줄이기 위해 다양한 보상 설정에서 어떻게 변화하는가?

주요 결과

• GDT는 이미지 기반 아타리 및 오픈AI 겸자 환경에서 최신 기술 수준의 오프라인 RL 방법들을 능가하며, 새로운 최고 기록을 달성한다.
• GDT는 입력 시퀀스 길이가 증가할수록 성능 향상이 두드러지며, 표준 결정 트랜스포머의 성능가 정점에 도달하는 것과 대비해 장수열 모델링 능력이 뛰어나다는 것을 보여준다.
• 그래프 입력 구조는 복귀-목표 보정에 대한 의존도를 감소시키며, DT가 성능을 저하시키는 단계별 보상 설정에서도 GDT는 강력한 성능 유지를 보였다.
• 고정보 밀도 아타리 환경에서는 GDT-Stack 연결 방식(시퀀스 트랜스포머 끝에 그래프 특징 스택)이 특징 정제에 가장 뛰어난 성능을 보였다.
• 저정보 밀도 겸자 환경에서는 GDT-Fusion 방식(그래프 및 시퀀스 특징의 조기 융합)이 추상화 수준을 효과적으로 통합해 더 나은 결과를 얻었다.
• 인과 그래프 표현은 정책과 세계 동역학을 더 잘 분리시켜 일반화 능력을 향상시키고 가치 추정에서의 과도한 낙관주의를 줄였다.

Figure 2: The proposed model comprises three main components: the Graph Representation, the Graph Transformer, and an optional Sequence Transformer. When the output of the Graph Transformer is used directly for action prediction, the resulting model is referred to as GDT, which includes only the lef