[논문 리뷰] Evaluating Visual Conversational Agents via Cooperative Human-AI Games

Prithvijit Chattopadhyay, Deshraj Jain외 6명|arXiv (Cornell University)|2017. 08. 17.

Ethics and Social Impacts of AI인용 수 38

한 줄 요약

이 논문은 시각적 대화형 에이전트를 고립된 상태가 아니라 실시간 인간-AI 협업에서 팀원으로 평가하기 위해 GuessWhich이라는 협동적 인간-AI 게임을 소개한다. 이 연구는 강화학습으로 최적화된 에이전트(Alice_RL)가 AI-AI 환경에서는 지도학습 기반 에이전트(Alice_SL)를 능가하지만, 인간-AI 팀 성과에는 향상되지 않음을 발견하여, 고립된 AI 평가와 실제 인간-AI 상호작용 간의 핵심 괴리가 드러났다.

ABSTRACT

As AI continues to advance, human-AI teams are inevitable. However, progress in AI is routinely measured in isolation, without a human in the loop. It is crucial to benchmark progress in AI, not just in isolation, but also in terms of how it translates to helping humans perform certain tasks, i.e., the performance of human-AI teams. In this work, we design a cooperative game - GuessWhich - to measure human-AI team performance in the specific context of the AI being a visual conversational agent. GuessWhich involves live interaction between the human and the AI. The AI, which we call ALICE, is provided an image which is unseen by the human. Following a brief description of the image, the human questions ALICE about this secret image to identify it from a fixed pool of images. We measure performance of the human-ALICE team by the number of guesses it takes the human to correctly identify the secret image after a fixed number of dialog rounds with ALICE. We compare performance of the human-ALICE teams for two versions of ALICE. Our human studies suggest a counterintuitive trend - that while AI literature shows that one version outperforms the other when paired with an AI questioner bot, we find that this improvement in AI-AI performance does not translate to improved human-AI performance. This suggests a mismatch between benchmarking of AI in isolation and in the context of human-AI teams.

연구 동기 및 목표

• 시각적 대화형 에이전트를 고립된 상태가 아니라 실질적인 인간-AI 협업에서 팀원으로 평가하는 데에 격차를 해소하기 위해.
• AI-AI 성능 지표 향상이 인간-AI 팀 성과로 이어지는지 조사하기 위해.
• 실시간 상호작용 기반의 인간-AI 협업의 역학을 반영하는 게임 기반 평가 프레임워크를 설계하기 위해.
• 통제된 상호작용 환경에서 다양한 AI 훈련 방식(지도학습 대비 강화학습)이 인간-AI 팀 성과에 미치는 영향을 측정하기 위해.

제안 방법

• 사람이 AI 에이전트(Alice)에게 질문을 통해 고정된 이미지 풀에서 비밀 이미지를 식별하는 협동 게임인 GuessWhich을 설계한다.
• Alice는 비밀 이미지와 간략한 캡션을 제공받고, 인간은 캡션만 보며 대화를 통해 이미지를 식별해야 한다.
• 아마존 메커니컬 터크(AMT)에서 인간 연구를 수행하여, 각 인간은 지도학습 기반(Alice_SL)과 강화학습으로 최적화된(Alice_RL) 두 버전의 Alice와 각각 10판의 게임을 진행한다.
• 고정된 대화 라운드 이후 비밀 이미지를 식별하기 위해 필요한 추측 수를 측정하여 팀 성과를 평가한다.
• 사용자 참여와 공정성을 유지하기 위해 성과 기반 인centive와 기본 보상 제도를 도입하여 작업자 친밀도로 인한 편향을 완화한다.
• AMT에서 실시간 상호작용 대화 세션을 지원하기 위해 백엔드 아키텍처를 구현하여 저지연, 상태 기반 상호작용을 보장한다.

실험 결과

연구 질문

• RQ1 강화학습으로 최적화된 AI 에이전트(Alice_RL)가 지도학습 기반 기준(Alice_SL)보다 인간과 협동하는 이미지 추측 과제에서 성과가 뛰어나게 되는가?
• RQ2 이미지 추측 과제에서 AI-AI 성능 향상이 인간-AI 팀 성과 향상으로 얼마나 이어지는가?
• RQ3 실시간 상호작용 대화 환경에서 AI 응답의 품질과 일관성이 인간-AI 팀 성과에 어떻게 영향을 미치는가?
• RQ4 크라우드소싱 플랫폼에서 공정하고 확장 가능하며 매력적인 인간-AI 상호작용 평가 프레임워크를 설계할 때의 주요 과제는 무엇인가?

주요 결과

• AI-AI 평가에서 지도학습 기반 에이전트(Alice_SL)를 능가하는 강화학습으로 최적화된 에이전트(Alice_RL)는 GuessWhich 게임에서 인간-AI 팀 성과를 향상시키지 못한다.
• Alice_RL을 사용하는 인간 팀도 Alice_SL를 사용하는 팀과 마찬가지로 비밀 이미지를 식별하기 위해 유사한 수의 추측을 필요로 하여, 인간-AI 협업에서 강화학습 최적화의 측정 가능한 이점이 없음을 시사한다.
• Alice_RL은 AI-AI 환경에서 더 높은 정확도를 보였지만, 인간 팀원에게는 항상 더 정보가 많거나 신뢰할 수 있는 응답을 제공하지는 않아 평가 목표 간의 불일치가 있음을 시사한다.
• 이 연구는 고립된 AI 벤치마크와 실제 인간-AI 팀 성과 사이에 심각한 괴리가 있음을 드러내며, 인간을 포함한 평가의 필요성을 강조한다.
• AMT에서 성과 기반 인센티브는 AI의 가끔 발생하는 오류로 인해 인간 플레이어를 오도하고 게임 실패를 유도함으로써 참여도 문제를 야기했다.
• 결과적으로 현재의 AI 평가 패러다임은 인간-AI 협업 환경에 구현되었을 때 고급 훈련 기법의 실용적 이점을 과대평가할 수 있음을 시사한다.