[논문 리뷰] Measuring Human Adaptation to AI in Decision Making: Application to Evaluate Changes after AlphaGo

Minkyu Shin, Jin Kim외 1명|arXiv (Cornell University)|2020. 12. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 4

한 줄 요약

이 논문은 인간이 게임에서 초인간적 AI(예: 알파고)의 결정에 적응하는 정도를 수량화하기 위해 '인간-AI 격차(Human-AI Gap)'를 도입한다. 인간의 수수께끼 수준과 초인간적 AI의 성능을 비교함으로써, 단지 AI의 수수께끼만을 관찰하는 것보다는 AI의 추론 과정을 관찰할 때 더 의미 있는 학습이 이뤄지며, 이 측정법은 AI 보조 사기 행위까지도 탐지할 수 있어 의료, 교육 등 다양한 분야에 광범위하게 적용 가능하다.

ABSTRACT

Across a growing number of domains, human experts are expected to learn from and adapt to AI with superior decision making abilities. But how can we quantify such human adaptation to AI? We develop a simple measure of human adaptation to AI and test its usefulness in two case studies. In Study 1, we analyze 1.3 million move decisions made by professional Go players and find that a positive form of adaptation to AI (learning) occurred after the players could observe the reasoning processes of AI, rather than mere actions of AI. These findings based on our measure highlight the importance of explainability for human learning from AI. In Study 2, we test whether our measure is sufficiently sensitive to capture a negative form of adaptation to AI (cheating aided by AI), which occurred in a match between professional Go players. We discuss our measure's applications in domains other than Go, especially in domains in which AI's decision making ability will likely surpass that of human experts.

연구 동기 및 목표

• 인간이 의사결정 맥락에서 AI에 어떻게 적응하는지를 객관적이고 정량적인 측정법으로 개발하는 것.
• 초인간적 AI(예: 알파고)에 노출된 후 인간 전문가가 의사결정 품질을 향상시키는지, 언제 그리고 어떻게 그런 변화가 일어나는지 조사하는 것.
• 제안된 측정법이 AI 보조 사기 행위와 같은 부정적 적응 현상을 탐지할 수 있는지 평가하는 것.
• AI가 인간을 능가하지만 인간이 최종 의사결정자인 분야에서 이 측정법의 광범위한 적용 가능성을 평가하는 것.
• 개인 또는 그룹 간에 AI에 대한 적응 속도의 차이를 이끄는 요인들을 탐색하는 것.

제안 방법

• 강화학습 기반 AI의 출력을 기준으로 인간 플레이어와 초인간적 AI 간의 의사결정 품질 차이를 '인간-AI 격차'로 정의한다.
• 역사적 전문가 고급 기물 게임 데이터(130만 수수께끼)를 활용해 AI 등장 이전과 이후의 인간 수수께errick 품질을 비교한다.
• 알파고에서 학습된 정책을 기반으로 한 AI의 수수께errick 품질을 기준으로 인간의 결정을 비교하며, 최적의 플레이 기준으로 간주한다.
• 시간에 따른 인간-AI 격차 변화와 플레이어 그룹 간의 변화를 분석하여 학습 또는 사기 패턴을 탐지한다.
• 이상적인 수수께errick 품질 변화가 나타나는 경우, 예를 들어 갑작스럽게 성능 향상이 일어나는 경우, AI 보조의 징후를 탐지하기 위해 이 측정법을 적용한다.
• 통계 모델링을 통해 인간 의사결정 품질 향상과 AI 추론에의 접근성 간의 상관관계를 평가하며, 단지 행동만을 관찰하는 것과의 차이를 분석한다.

실험 결과

연구 질문

• RQ1 AI의 추론 과정을 관찰하는 것이 단지 AI의 행동만을 관찰하는 것보다 인간 의사결정 품질 향상에 측정 가능한 영향을 미치는가?
• RQ2 게임의 어느 시점에서 인간이 AI에 가장 뚜렷하게 적응하는가?
• RQ3 인간-AI 격차 측정법은 전문 고급 기물 대회에서 AI 보조 사기 행위를 탐지할 수 있는가?
• RQ4 AI 추론에의 접근성이 인간 전문가 그룹 간의 적응 속도에 어떤 영향을 미치는가?
• RQ5 인간-AI 격차는 의료, 교육, 기업 등 다른 분야로 일반화될 수 있는가?

주요 결과

• 인간 전문가들은 단지 AI의 수수께errick 출력만을 관찰하는 것보다 AI의 추론 과정에 접근한 후 의사결정 품질이 뚜렷이 향상되었다.
• 가장 뚜렷한 학습은 고급 기물 게임의 초기~중기 단계(수수께errick 1~50)에서 일어났으며, 이 시점에서 인간 플레이어가 AI 전략을 모방하기 시작했다.
• AI 추론에 접근한 전문가들은 접근하지 않은 사람들보다 인간-AI 격차가 유의미하게 감소하여 더 빠른 적응을 보였다.
• 인간-AI 격차 측정법은 알려진 AI 보조 사기 사례를 성공적으로 탐지했으며, 이는 한 플레이어의 수수께errick 품질이 갑작스럽게 AI 출력과 일치하기 시작했기 때문이다.
• 이 측정법은 설명 가능성—즉, AI가 왜 그런 수를 두었는지 이해하는 것—이 효과적인 인간 학습에 핵심적임을 드러내었으며, 결과만을 관찰하는 것보다 훨씬 중요하다.
• 인간-AI 격차는 긍정적 적응(학습)과 부정적 적응(사기)을 모두 감지할 수 있을 정도로 민감하여, 다양한 고위험 의사결정 맥락에서의 활용 가능성을 뒷받침한다.