[논문 리뷰] Evaluation Beyond Task Performance: Analyzing Concepts in AlphaZero in Hex

Charles Lovering, Jessica Zosa Forde외 3명|arXiv (Cornell University)|2022. 11. 26.

Sports Analytics and Performance인용 수 7

한 줄 요약

이 논문은 NLP 평가 기법—프로빙 분류기와 행동 테스트—를 적응시켜 알파제로가 헥스에서 인간이 이해할 수 있는 체스 개념을 어떻게 표현하고 사용하는지 분석한다. 결과적으로 단기적인 종국 전략 개념은 최종 네트워크 레이어에 코딩되어 있으며, 장기적인 전략적 개념은 중간 레이어에 위치해 있으며, 몬테카를로 트리 탐색(MCTS)이 신경망이 이를 코딩하기 전에 핵심 개념을 먼저 발견한다는 것을 밝혀냈다.

ABSTRACT

AlphaZero, an approach to reinforcement learning that couples neural networks and Monte Carlo tree search (MCTS), has produced state-of-the-art strategies for traditional board games like chess, Go, shogi, and Hex. While researchers and game commentators have suggested that AlphaZero uses concepts that humans consider important, it is unclear how these concepts are captured in the network. We investigate AlphaZero's internal representations in the game of Hex using two evaluation techniques from natural language processing (NLP): model probing and behavioral tests. In doing so, we introduce new evaluation tools to the RL community and illustrate how evaluations other than task performance can be used to provide a more complete picture of a model's strengths and weaknesses. Our analyses in the game of Hex reveal interesting patterns and generate some testable hypotheses about how such models learn in general. For example, we find that MCTS discovers concepts before the neural network learns to encode them. We also find that concepts related to short-term end-game planning are best encoded in the final layers of the model, whereas concepts related to long-term planning are encoded in the middle layers of the model.

연구 동기 및 목표

• 헥스에서 인간이 정의한 게임 개념의 내부 표현을 분석함으로써 태스크 성능을 넘어서 알파제로를 평가하는 것.
• 핵심 전략적·전술적 개념(예: 브릿지, 죽은 셀 등)이 알파제로의 신경망 내에서 어떻게 그리고 언제 학습되고 코딩되는지 조사하는 것.
• 알파제로가 결정 과정에서 개념을 의미적으로 사용하는지, 단지 숨겨진 표현에만 코딩하는지 여부를 판단하는 것.
• 해당 기법을 딥 강화학습, 특히 해석 가능성 분석에 적용하기 위해 NLP 평가 기법—프로빙 및 행동 테스트—를 적응시키는 것.
• 강화학습 에이전트의 개념 학습 동역학에 대한 검증 가능한 가설을 도출함으로써 모델의 일반화 및 강건성에 대한 영향을 분석하는 것.

제안 방법

• 특정 게임 개념(예: 브릿지, 래더, 죽은 셀 등)이 알파제로의 신경망 표현에 코딩되어 있는지 탐지하기 위해 NLP에서 유래한 프로빙 분류기를 적응시켰다.
• 특정 개념적 이해가 요구되는 게임 상태를 제시하는 행동 테스트를 설계하여 에이전트가 정확하게 행동하는지 평가했다.
• 알파제로의 신경망 각 레이어에서의 특징 표현에 대해 프로빙 분류기를 훈련 및 평가하여 개념의 국소화 정도를 평가했다.
• 훈련 단계별로 모델을 프로빙하여 개념 학습 과정을 추적하고, MCTS 정책 출력과 비교했다.
• 개념을 포함하거나 포함하지 않는 보드 상태를 프로그래밍 방식으로 생성하여 9x9 헉스 보드를 사용해 개념 사용을 고립하고 테스트했다.
• 대표성 프로빙과 행동 평가를 결합하여, 단순히 코딩되어 있을 뿐 아니라 정책 결정에서 실제로 기능적으로 사용되는 개념인지 구분했다.

실험 결과

연구 질문

• RQ1 브릿지나 래더와 같은 핵심 인간 정의 게임 개념들이 알파제로의 신경망 표현에 코딩되어 있는가?
• RQ2 개념들이 네트워크에 처음 나타나는 훈련 단계는 언제이며, 시간이 지남에 따라 어떻게 변화하는가?
• RQ3 어느 네트워크 레이어가 단기 종국 전략 개념과 장기 전략 개념을 각각 가장 잘 표현하는가?
• RQ4 알파제로는 내부 개념 표현을 바탕으로 정확한 결정을 내리는가, 아니면 단지 수동적으로 코딩만 하는가?
• RQ5 몬테카를로 트리 탐색(MCTS)이 신경망과 비교해 게임 개념을 탐지하고 활용하는 데 어떤 역할을 하는가?

주요 결과

• 브릿지와 같은 단기 종국 전략 개념은 알파제로의 신경망 최종 레이어에 가장 강하게 코딩되어 있어 즉각적인 전술적 결정에 사용된다는 것을 시사한다.
• 장기 전략적 개념은 네트워크 중간 레이어에서 가장 잘 표현되어 있어 계획 깊이에 따라 계층적으로 처리된다는 것을 나타낸다.
• 몬테카를로 트리 탐색(MCTS)은 신경망이 이를 코딩하기 전에 핵심 게임 개념을 더 일찍 탐지하고 활용한다.
• 죽은 셀과 같은 개념은 덜 잘 코딩되어 있고 사용되며, 알파제로가 게임 결과에 영향을 주지 않는 한 생산적이지 않은 수를 두는 데 무관심하기 때문일 수 있다.
• 행동 테스트 결과, 관련 개념이 표현에 존재하더라도 알파제로가 승리 수를 인식하지 못하는 경우가 있음을 확인하여 표현과 행동 사이에 괴리가 있음을 시사한다.
• 프로빙과 행동 평가의 조합을 통해 일부 개념은 코딩되어 있지만 기능적으로 사용되지 않는다는 점을 드러내어, 태스크 성능을 넘어서는 모델의 해석 가능성에 한계가 있음을 강조한다.