[논문 리뷰] Deep Transformer Q-Networks for Partially Observable Reinforcement Learning

Kevin Esslinger, Robert Platt외 1명|arXiv (Cornell University)|2022. 06. 02.

Neural Networks and Reservoir Computing인용 수 14

한 줄 요약

이 논문은 부분 관찰 환경에서 에이전트의 역사를 모델링하기 위해 트랜스포머 디코더에서 자기주의(multi-head self-attention) 메커니즘을 사용하는 새로운 강화학습 아키텍처인 딥 트랜스포머 Q-네트워크(DTQN)를 소개한다. DTQN은 전체 관찰 역사를 거쳐 중간 단계의 Q-값을 학습함으로써, 순환 기반 기준 모델보다 더 빠르고 안정적인 학습을 달성하며, 다양한 POMDP 벤치마크에서 성공률과 일반화 능력 면에서 슈퍼리어하다.

ABSTRACT

Real-world reinforcement learning tasks often involve some form of partial observability where the observations only give a partial or noisy view of the true state of the world. Such tasks typically require some form of memory, where the agent has access to multiple past observations, in order to perform well. One popular way to incorporate memory is by using a recurrent neural network to access the agent's history. However, recurrent neural networks in reinforcement learning are often fragile and difficult to train, susceptible to catastrophic forgetting and sometimes fail completely as a result. In this work, we propose Deep Transformer Q-Networks (DTQN), a novel architecture utilizing transformers and self-attention to encode an agent's history. DTQN is designed modularly, and we compare results against several modifications to our base model. Our experiments demonstrate the transformer can solve partially observable tasks faster and more stably than previous recurrent approaches.

연구 동기 및 목표

• 소음이 있거나 완전하지 않은 관찰으로 인해 에이전트가 전체 상태 정보를 확보하지 못하는 부분 관찰 문제를 해결하기 위해.
• LSTM 및 GRU와 같은 순환 신경망(RNN)이 부분 관찰 도메인에서 흔히 발생하는 학습 불안정성과 취약성 문제를 극복하기 위해.
• 자연어처리(NLP) 분야에서 우수한 시퀀스 모델링 성능를 보이는 트랜스포머가, 에이전트의 역사를 효과적으로 인코딩하고 POMDP 환경에서의 학습을 향상시킬 수 있는지 탐색하기 위해.
• 기존의 RNN 기반 접근 방식을 능가하는 모듈성, 해석 가능성, 그리고 강건성을 갖춘 아키텍처를 설계하기 위해.
• 미래의 트랜스포머 기반 RL 연구를 위해 재사용 가능하고 확장 가능한 코드베이스를 제공하기 위해.

제안 방법

• DTQN은 에이전트의 관찰 및 행동 역사를 처리하기 위해 학습된 위치 인코딩을 갖춘 트랜스포머 디코더를 사용하여 장거리 의존성 모델링을 가능하게 한다.
• 자기회귀적 생성을 보장하기 위해 인과적 마스킹을 사용하여 추론 중 미래 관찰의 유출을 방지한다.
• 중간 단계 Q-값 예측이라는 새로운 학습 제도는, 최종 단계가 아닌 역사를 거쳐 매 타임스텝에서 생성된 Q-값을 학습에 활용한다.
• 모델은 게이트형 스킵 연결과 아이덴티티 매핑 재정렬을 통합하여 학습 안정성과 기울기 흐름을 향상시킨다.
• 위치 인코딩은 고정된 방식(예: 사인파)이 아니라 엔드 투 엔드로 학습되며, 환경에 특화된 시간 동적 특성에 적응할 수 있다.
• 추론 시에는 오직 최종 타임스텝의 Q-값만 사용해 행동을 선택하지만, 학습 과정에선 모든 중간 예측을 활용해 더 강력한 지도 학습을 제공한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 부분 관찰 강화학습 과제에서 RNN 기반 방법보다 우월한 성능을 낼 수 있는가?
• RQ2 기본 단일 타임스텝 예측 방식과 비교해 중간 단계 Q-값 예측이 학습 안정성과 최종 성능을 향상시키는가?
• RQ3 다양한 위치 인코딩 전략—학습된, 사인파, 또는 미사용—이 POMDP 환경에서 성능에 어떤 영향을 미치는가?
• RQ4 DTQN의 자기주의 메커니즘이 주어진 관찰 시각화를 통해 임계적인 과제 정보에 초점을 맞추는가?
• RQ5 DTQN의 모듈러한 설계가 아키텍처 구성 요소의 효과적인 아블레이션 및 비교를 가능하게 하는가?

주요 결과

• DTQN은 그리드버스 메모리 7x7 환경에서 75.2%의 성공률을 기록하여 기준 RNN 접근 방식과 모든 아블레이션 버전을 능가했다.
• 카드 메모리 도메인에서는 89.8%의 성공률을 기록했으며, 중간 단계 Q-값 예측 기능이 없는 버전(9.0% 성공률)에 비해 뚜렷한 슈퍼리어리티를 보였다.
• 위치 인코딩이 없는 버전은 카드 메모리 도메인에서 성능이 열악했으며(70.8%), 학습된 인코딩과 사인파 인코딩보다 열등했으며, 이는 위치 인코딩이 성능에 결정적인 영향을 미친다는 것을 시사한다.
• 중간 단계 Q-값 예측 기능이 있는 모델은 평균 87.77%의 성공률을 기록한 반면, 이 기능이 없는 경우는 52.69%에 머물러, 학습 제도의 핵심적 역할을 입증했다.
• 그리드버스에서의 주의 시각화 결과, 녹색 비콘 관찰에 강한 주의를 기울이는 경향을 보였으며, 이는 모델이 임계적인 과제 정보를 효과적으로 선택하는 데 성공했다는 것을 확인한다.
• DTQN은 허니웨이 및 그리드버스를 포함한 모든 평가 환경에서 경쟁력 있거나 슈퍼리어한 성능를 보였으며, 학습 속도와 안정성 면에서 일관된 향상이 있었다.