[논문 리뷰] Bridging the Human-AI Knowledge Gap: Concept Discovery and Transfer in AlphaZero

Lisa Schut, Nenad Tomašev외 4명|arXiv (Cornell University)|2023. 10. 25.

Sports Analytics and Performance인용 수 8

한 줄 요약

요약: 이 논문은 AlphaZero로부터 기계 고유(M-H) 체스 개념을 추출하기 위한 프레임워크를 소개하고, 상위 그랜드마스터들이 개념 프로토타입과 교육성 평가를 통해 이러한 개념을 학습하고 적용할 수 있음을 보여준다.

ABSTRACT

Artificial Intelligence (AI) systems have made remarkable progress, attaining super-human performance across various domains. This presents us with an opportunity to further human knowledge and improve human expert performance by leveraging the hidden knowledge encoded within these highly performant AI systems. Yet, this knowledge is often hard to extract, and may be hard to understand or learn from. Here, we show that this is possible by proposing a new method that allows us to extract new chess concepts in AlphaZero, an AI system that mastered the game of chess via self-play without human supervision. Our analysis indicates that AlphaZero may encode knowledge that extends beyond the existing human knowledge, but knowledge that is ultimately not beyond human grasp, and can be successfully learned from. In a human study, we show that these concepts are learnable by top human experts, as four top chess grandmasters show improvements in solving the presented concept prototype positions. This marks an important first milestone in advancing the frontier of human knowledge by leveraging AI; a development that could bear profound implications and help us shape how we interact with AI systems across many AI applications.

연구 동기 및 목표

• 인간의 전문성을 확장하기 위해 슈퍼 휴먼 AI 지식으로부터 학습하는 목표를 동기 부여하고 형식화한다.
• 지식의 단위로서 개념을 정의하고 전이 가능하며 가르칠 수 있도록 운영화한다.
• AlphaZero에서 M-H 개념을 발견, 필터링, 검증하는 프레임워크를 개발한다.
• 인간과 AI 실험을 통해 발견된 개념의 가르칠 수 있음과 참신함을 입증한다.

제안 방법

• 잠재 공간에서 희소 개념 벡터를 추출하기 위해 개념 발견을 볼록 최적화 문제로 형식화한다.
• 정적 개념(단일 상태)과 동적 개념(상태 시퀀스)을 구분하고 해당 제약을 도출한다.
• 동적 개념에 대해 AZ-선호(양의)와 비최적(음의) 트래젝토리를 대비하기 위해 AlphaZero의 정책-가치 네트워크와 MCTS 롤아웃을 사용한다.
• 개념 프로토타입과 정책의 KL 발산을 사용하여 학생 네트워크로의 전달을 측정함으로써 가르칠 수 있는 개념을 필터링한다.
• 개념이 인간의 대국에 나타나지 않는지 확인하고, Elo 기반의 후기 AZ 학습 차이를 활용하여 복합 개념을 식별함으로써 참신성을 평가한다.
• Xproto로부터 개념 프로토타입을 생성하고 학생이 교사의 수를 모방하도록 훈련시켜 개념 전달을 top-1 수 일치로 평가한다.

실험 결과

연구 질문

• RQ1 AlphaZero의 잠재 표현에 인간이 의미 있게 학습할 수 있는 기계 고유 지식(M-H)이 포함되어 있는가?
• RQ2 인간 체스 지식에 비해 참신한 AlphaZero의 개념을 추출, 필터링, 가르칠 수 있는가?
• RQ3 개념 프로토타입이 AI에서 도출된 개념을 인간이나 다른 AI 에이전트로 전달하는 데 효과적인가?
• RQ4 동적(MCTS 구동) 개념이 정적(단일 위치) 개념에 비해 학습 용이성과 전달성 측면에서 어떻게 다른가?

주요 결과

• 그랜드마스터들은 개념 프로토타입에 노출된 후 AlphaZero와 일치하는 개념 기반 수를 찾는 능력이 향상됐다.
• 발견된 개념은 종종 체스 아이디어를 인간의 전통적 원칙과 다르게 결합하여 다른 위치-개념 관계를 시사한다.
• 가르침 가능성 실험은 개념 프로토타입이 무작위 AZ/대국 말단 위치보다 학생 네트워크로의 더 빠르고 신뢰할 수 있는 전달을 가능하게 한다고 시사한다.
• 이 프레임워크는 그래프 분석을 통해 새로운 개념을 인간이 라벨링한 개념과 연관 지어 보여주고 학습된 개념의 해석 가능성을 제공한다.
• 개념의 참신성은 후기 AZ 개념에 집중하고 AZ 대 인간 대국 표현을 비교하여 기계 고유 지식을 식별함으로써 보장된다.