[论文解读] Bridging the Human-AI Knowledge Gap: Concept Discovery and Transfer in AlphaZero

Lisa Schut, Nenad Tomašev+4 more|arXiv (Cornell University)|Oct 25, 2023

Sports Analytics and Performance被引用 8

一句话总结

该论文提出一个框架，从 AlphaZero 中提取机器独有的（M-H）国际象棋概念，并通过概念原型和可教学性评估证明顶级国际象棋大师能够学习并应用这些概念。

ABSTRACT

Artificial Intelligence (AI) systems have made remarkable progress, attaining super-human performance across various domains. This presents us with an opportunity to further human knowledge and improve human expert performance by leveraging the hidden knowledge encoded within these highly performant AI systems. Yet, this knowledge is often hard to extract, and may be hard to understand or learn from. Here, we show that this is possible by proposing a new method that allows us to extract new chess concepts in AlphaZero, an AI system that mastered the game of chess via self-play without human supervision. Our analysis indicates that AlphaZero may encode knowledge that extends beyond the existing human knowledge, but knowledge that is ultimately not beyond human grasp, and can be successfully learned from. In a human study, we show that these concepts are learnable by top human experts, as four top chess grandmasters show improvements in solving the presented concept prototype positions. This marks an important first milestone in advancing the frontier of human knowledge by leveraging AI; a development that could bear profound implications and help us shape how we interact with AI systems across many AI applications.

研究动机与目标

• 激励并形式化从超人类 AI 知识中学习以扩展人类专业能力的目标。
• 将概念定义并操作化为可转移和教授的知识单元。
• 开发一个框架以发现、过滤并验证 AlphaZero 中的 M-H 概念。
• 通过人类和 AI 实验展示所发现概念的可教学性和新颖性。

提出的方法

• 将概念发现表述为一个凸优化问题，以在潜在空间中提取稀疏概念向量。
• 区分静态概念（单一状态）和动态概念（状态序列），并推导相应的约束。
• 利用 AlphaZero 的策略-价值网络和 MCTS 蒙特卡洛树搜索回放来对比正向（AZ 偏好）与负向（次优）轨迹，以获取动态概念。
• 通过概念原型和策略的 KL 散度，测量对学生网络的迁移来过滤可教学的概念。
• 通过确保概念在人工对局中不出现并利用后期 AZ 训练差异（基于 Elo）来识别复杂概念，从而评估新颖性。
• 从 Xproto 生成概念原型，并训练学生模仿教师走子，评估通过顶一走子的一致性来进行概念迁移。

实验结果

研究问题

• RQ1 AlphaZero 的潜在表示中是否包含机器独有的知识（M-H），人类是否能够有意义地学习？
• RQ2 我们是否能够从 AlphaZero 提取、过滤并教授相对于人类棋理知识具有新颖性的概念？
• RQ3 概念原型在将 AI 提取的概念转移给人类或其他 AI 代理方面是否有效？
• RQ4 动态、由 MCTS 驱动的概念与静态、单一位置概念在可学习性和迁移方面有何差异？

主要发现

• 大师在接触概念原型后，展示出更能找到与 AlphaZero 一致的基于概念的走子能力的改进。
• 发现的概念常以与传统人类原则不同的方式组合棋理想点，暗示位置-概念关系存在差异。
• 可教学性实验表明，与随机 AZ/棋局位置相比，概念原型能更快且更可靠地迁移到学生网络。
• 该框架能够通过图分析揭示并将新概念与人类标注的概念相关联，从而提高对学习概念的可解释性。
• 通过专注于后期阶段的 AZ 概念并比较 AZ 与人类棋局表示来识别机器独有知识，从而确保概念的新颖性。