[논문 리뷰] How Does Artificial Intelligence Improve Human Decision-Making? Evidence from the AI-Powered Go Program

Sukwoong Choi, Hyo Kang외 2명|arXiv (Cornell University)|2023. 10. 12.

Experimental Behavioral Economics Studies인용 수 4

한 줄 요약

이 연구는 최고 수준의 전문가를 뛰어넘는 인공지능 기반 고급 게임 프로그램(APG)의 영향을 받는 인간 고수들이 의사결정 능력을 어떻게 향상시키는지 분석한다. 749,190수의 데이터를 바탕으로 한 분석 결과, 특히 초기 기물에서 불확실성이 가장 높은 시점에서의 수질 향상이 두드러지며, 이는 AI 제안과의 일치도가 높아지고 오류가 감소함에 따라 발생한다. 특히 젊고 실력이 떨어지는 플레이어일수록 더 큰 개선 효과를 보였다.

ABSTRACT

We study how humans learn from AI, leveraging an introduction of an AI-powered Go program (APG) that unexpectedly outperformed the best professional player. We compare the move quality of professional players to APG's superior solutions around its public release. Our analysis of 749,190 moves demonstrates significant improvements in players' move quality, especially in the early stages of the game where uncertainty is highest. This improvement was accompanied by a higher alignment with AI's suggestions and a decreased number and magnitude of errors. Young players show greater improvement, suggesting potential inequality in learning from AI. Further, while players of all skill levels benefit, less skilled players gain higher marginal benefits. These findings have implications for managers seeking to adopt and utilize AI in their organizations.

연구 동기 및 목표

• 인간의 의사결정 능력이 최고 수준의 전문가를 뛰어넘는 인공지능 기반 고급 게임 프로그램(APG)에 노출되었을 때 어떻게 향상되는지 조사하기.
• APG의 공개 발표 이전과 이후의 수질 변화, 오류 패tern, AI 제안과의 일치도를 분석하기.
• AI 지침의 효과가 플레이어의 연령과 기량 수준에 따라 어떻게 다를지 조사하기.
• 인간-인공지능 협업에서 조직적 의사결정에 미치는 인공지능 통합의 영향 평가하기.

제안 방법

• 이 연구는 APG의 공개 발표 이전과 이후에 진행된 전문 고수들의 게임에서 749,190수의 데이터를 분석한다.
• 수질 향상을 정량화하기 위해 기준 기준을 사용하여 인간의 수와 APG의 열등한 솔루션을 비교한다.
• 불확실성이 가장 높은 초기 게임 단계에 집중하여, AI 지침의 영향을 분리해내기 위해 분석을 수행한다.
• 인간의 수와 AI 제안 간의 일치도, 오류의 빈도와 크기의 변화를 측정한다.
• 연령과 기량 수준에 따라 하위 집단으로 나누어 통계 모델을 활용해 개선 정도를 비교한다.
• APG 공개가 인간 성과에 미치는 영향을 고립하기 위해 차이의 차이(difference-in-differences) 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 인공지능 기반 고급 게임 프로그램(APG)의 도입이 인간 플레이어의 수 품질에 어떤 영향을 미치는가?
• RQ2 APG 공개 이후 플레이어가 얼마나 많은 수준에서 AI 제안과 일치하는가?
• RQ3 다른 연령과 기량 수준의 플레이어들이 AI 지도에서 경험하는 개선 정도는 어떻게 다를까?
• RQ4 특히 높은 불확실성의 게임 단계에서 AI가 인간 의사결정의 오류 감소에 어떤 영향을 미치는가?
• RQ5 경험 또는 인구통계적 요인이 기반으로 한 AI 학습 이점의 격차는 존재하는가?

주요 결과

• APG의 공개 발표 이후 플레이어의 수 품질이 유의미하게 향상되었으며, 특히 불확실성이 가장 높은 초기 게임 단계에서 가장 두드러진 개선이 관찰되었다.
• APG 공개 이후 플레이어가 저지르는 오류의 수와 크기가 상당히 감소하여 의사결정 오류가 줄어들었다는 것을 시사한다.
• 공개 이후 플레이어가 AI 제안과 더 높은 일치도를 보였으며, 이는 AI 지도가 인간의 수 선택에 직접적인 영향을 미쳤음을 시사한다.
• 젊은 플레이어일수록 노령 플레이어보다 더 큰 수 품질 향상을 보였으며, 이는 AI 학습 효율성에 연령에 따른 격차가 있음을 시사한다.
• 실력이 떨어지는 플레이어일수록 실력이 높은 플레이어보다 더 큰 마진 개선 효과를 보였으며, 이는 하위 수준 플레이어에게 유리한 역행성 학습 효과를 보여준다.
• 이 연구는 AI가 다양한 기량 수준의 인간 의사결정을 향상시킬 수 있음을 확인했지만, 개선 정도는 플레이어의 특성에 따라 체계적으로 다름을 확인했다.