[논문 리뷰] Long-Term Planning and Situational Awareness in OpenAI Five

Jonathan Raiman, Susan Zhang외 1명|arXiv (Cornell University)|2019. 12. 13.

Reinforcement Learning in Robotics참고 문헌 13인용 수 7

한 줄 요약

이 논문은 OpenAI Five, 즉 계획 없는 딥 강화학습 에이전트가 명시적인 계층적 동작 없이 장기적 계획 수립과 상황 인식 능력을 어떻게 발달시키는지 조사한다. 임베딩 유사도 분석과 은닉 상태 복원을 통해 향후 목표와 보상을 예측함으로써, 저자들은 이 에이전트가 최대 90초 전까지 계획을 수립하고 게임 메커니즘에 대해 의미론적 이해를 보임을 입증한다. 이는 명시적 매크로 액션 감독이 없는 상황에서도 성립한다.

ABSTRACT

Understanding how knowledge about the world is represented within model-free deep reinforcement learning methods is a major challenge given the black box nature of its learning process within high-dimensional observation and action spaces. AlphaStar and OpenAI Five have shown that agents can be trained without any explicit hierarchical macro-actions to reach superhuman skill in games that require taking thousands of actions before reaching the final goal. Assessing the agent's plans and game understanding becomes challenging given the lack of hierarchy or explicit representations of macro-actions in these models, coupled with the incomprehensible nature of the internal representations. In this paper, we study the distributed representations learned by OpenAI Five to investigate how game knowledge is gradually obtained over the course of training. We also introduce a general technique for learning a model from the agent's hidden states to identify the formation of plans and subgoals. We show that the agent can learn situational similarity across actions, and find evidence of planning towards accomplishing subgoals minutes before they are executed. We perform a qualitative analysis of these predictions during the games against the DotA 2 world champions OG in April 2019.

연구 동기 및 목표

• 모델 기반의 딥 강화학습 에이전트가 명시적인 계층적 동작 구조 없이 장기적 계획 수립과 상황 인식 능력을 어떻게 발달시키는지 이해하는 것.
• 에이전트의 임베딩에 포함된 분산 표현이 히어로, 스킬, 아이템과 같은 게임 요소 간의 의미론적 유사성을 어떻게 인코딩하는지 조사하는 것.
• 은닉 상태를 복원하여 향후 게임 상태, 목표, 보상을 예측하는 방법을 개발함으로써 에이전트의 의도를 해석할 수 있도록 하는 것.
• 자기 플레이와 희박한 책임 할당을 통해 훈련된 초인간 수준의 AI 에이전트에서 계획 행동이 어떻게 나타나는지 분석하는 것.
• 복잡하고 의미론적으로 풍부한 환경에서 작동하는 대규모 강화학습 에이전트에 대한 해석 가능성 도구를 제공하는 것.

제안 방법

• 게임 요소(예: 히어로, 스킬 등)의 학습된 임베딩 간 코사인 유사도 분석을 통해 의미론적 구조와 功能적 유사성을 평가하는 것.
• 정책 네트워크의 동결된 은닉 상태를 대상으로 지도 학습된 복원 모델을 훈련하여 향후 게임 상태(예: 목표 위치, 목적지)를 예측하는 것.
• 향후 게임 마일스톤(예: 타워 파괴, 킬, 사망)을 은닉 상태 복원의 감독 신호로 사용하는 것.
• 다중 헤드 복원 헤드를 활용해 동시에 여러 향후 목표를 예측하는 것: 이동 목표, 공격 목표, 보상 결과.
• OpenAI Five vs. OG 결승전의 실제 게임 시퀀스에 복원기를 적용하여 예측 행동을 시각화하고 검증하는 것.
• 예측된 향후 행동(예: 공격, 철수)과 실제 게임 내 행동 간의 연결 고리를 시각화하여 공격적, 방어적, 회피적 행동의 해석을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 OpenAI Five의 임베딩에 포함된 분산 표현은 명시적 감독 없이도 게임 요소 간의 기능적 및 의미론적 유사성을 포착할 수 있는가?
• RQ2 정책 네트워크의 은닉 상태는 30~90초 전의 향후 게임 상태와 목표에 대해 예측 정보를 포함하고 있는가?
• RQ3 명시적 매크로 액션이 없음에도 불구하고, 특정 타워를 공격하거나 공격을 조율하는 것과 같은 장기적 계획 수립의 증거로 볼 수 있는 행동이 에이전트의 행동에 나타나는가?
• RQ4 에이전트의 예측은 적의 동적 행동 변화에 어떻게 반응하는가? 이는 상황 인식 능력에 대한 통찰을 제공하는가?
• RQ5 은닉 상태 복원은 공격적, 방어적, 또는 회피 전략과 같은 에이전트의 의도를 이해하는 데 있어 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• 게임 요소의 임베딩 간 코사인 유사도는 훈련 과정에서 변화하며, 이는 모델이 히어로, 스킬, 아이템 간 의미론적으로 유의미한 관계를 학습하고 있음을 시사한다.
• 은닉 상태 복원이 성공적으로 최대 90초 전까지 공격 대상 및 이동 목표와 같은 향후 목표를 예측함으로써 장기적 계획 수립 능력을 보여준다.
• 모델은 향후 킬과 사망을 높은 정확도로 예측하며, 이는 도망가거나 적을 향해 접근하는 관찰 가능한 행동과 관련이 있다.
• OpenAI Five vs. OG 결승전에서 모델의 예측은 적 타워에 대한 조율된 공격을 최대 55초 전에 정확히 예측했으며, 적 방어가 변화할 경우 동적으로 업데이트되었다.
• 복원기가 에이전트가 실시간으로 계획을 조정하는 것을 식별했다—예를 들어 敌 보강대가 도착하면 공격을 취소함—이를 통해 적응적 상황 인식 능력을 입증한다.
• 이 방법을 통해 팀 전체의 전략적 의도를 시각화할 수 있었으며, 예를 들어 팀의 이동 및 공격 목표 예측 기반으로 적 기지 구조물에 대한 공동 공격을 예측할 수 있었다.