[논문 리뷰] Improvised Comedy as a Turing Test

Kory W. Mathewson, Piotr Mirowski|arXiv (Cornell University)|2017. 11. 23.

Artificial Intelligence in Games참고 문헌 7인용 수 17

한 줄 요약

이 논문은 실시간 라이브 극장에서 인간다운 AI 성능을 평가하기 위해 즉흥 코미디를 실제 터닝 테스트로 활용하는 것을 제안한다. 말소리 인식 및 합성 기능을 갖춘 AI 챗봇(A.L.Ex)이 인간 연기자들과 함께 30회의 공연에 참여했는데, 관객들은 자주 AI와 인간 즉흥 연기자 간을 구분하지 못했으며, 이는 강한 믿음의 공백과 정서적 몰입을 보여주었다.

ABSTRACT

The best improvisational theatre actors can make any scene partner, of any skill level or ability, appear talented and proficient in the art form, and thus "make them shine". To challenge this improvisational paradigm, we built an artificial intelligence (AI) trained to perform live shows alongside human actors for human audiences. Over the course of 30 performances to a combined audience of almost 3000 people, we have refined theatrical games which involve combinations of human and (at times, adversarial) AI actors. We have developed specific scene structures to include audience participants in interesting ways. Finally, we developed a complete show structure that submitted the audience to a Turing test and observed their suspension of disbelief, which we believe is key for human/non-human theatre co-creation.

연구 동기 및 목표

• 관객이 실시간 라이브 극장에서 AI가 생성한 즉흥 대사와 인간의 연기를 신뢰성 있게 구분할 수 있는지 조사한다.
• 관객이 AI가 연극적 공연의 공동 창작자라고 믿을 때 정서적 몰입과 서사 몰입이 어떻게 영향을 받는지 탐색한다.
• 신체적 몰입(예: 인간형 로봇 등)이 인간-AI 공동 창작에서 관객의 믿음의 공백을 어떻게 향상시키는지 평가한다.
• 관객의 기대와 사전 지식이 실시간 공연에서 AI의 진정성에 대한 인식에 어떤 영향을 미치는지 평가한다.

제안 방법

• AI 즉흥 연기자인 A.L.Ex는 10만 건의 영화 대본을 기반으로 훈련된 순서-순서 LSTM 기반 신경망이며, 어휘집은 5만 단어로 구성되어 있다.
• A.L.Ex는 말소리 인식 및 텍스트-음성 변환 시스템을 활용해 인간 공연자와 실시간으로 대화할 수 있도록 한다.
• 시스템은 터닝 테이킹, 문장 선택, 정서 분석 히우리스틱을 사용해 맥락에 맞는 응답을 생성한다.
• 인간형 로봇(이글로봇 제조)이 A.L.Ex를 신체적으로 구현하여 공연 중 관객의 집중과 존재감을 높인다.
• 일부 공연에서는 관객이 비인간형 AI가 대화를 제어하고 있다고 속임으로써 위저드 오브 오지 설정을 사용했으며, 이후 인간 운영자가 실제로 제어하고 있음을 공개했다.
• 공연는 관객의 제안을 바탕으로 한 장면 설정을 포함하며, 장면은 3~6분 동안 지속되며 인간 공연자가 자연스럽게 끝낸다.

실험 결과

연구 질문

• RQ1 관객이 실시간으로 AI가 연극 공연을 제어하고 있음을 얼마나 신뢰성 있게 감지할 수 있는가?
• RQ2 인간형 로봇의 존재가 즉흥 연극 장면에서 관객의 몰입도와 AI의 주체성에 대한 믿음을 어떻게 영향을 미치는가?
• RQ3 AI 캐릭터에 대한 정서적 유대감이 관객의 믿음의 공백을 유지하는 데 어떤 역할을 하는가?
• RQ4 AI가 실제로 연기하고 있다는 것을 명시적으로 알리거나, 자율적이라고 속임으로써 믿음을 심어줄 때 관객의 인식은 어떻게 변화하는가?
• RQ5 실시간 즉흥 공연 중 AI가 생성한 대화에서 지능과 정서적 이해의 환영을 유도하는 요소는 무엇인가?

주요 결과

• 터닝 테스트 유사 설정에서, 사전 경고 없이 거의 모든 관객이 AI를 인간으로 잘못 식별했으며, 이는 강력한 지능의 환영을 보여준다.
• 위저드 오브 오지 시나리오에서 약 절반의 관객이 AI가 완벽하게 작동하고 있다고 믿었으며, 시스템이 인간 운영자에 의해 제어되고 있음에도 불구하고 그러한 믿음을 유지했다.
• 관객들은 자주 믿음의 공백을 유지하고 AI 캐릭터에 정서적 유대감을 느끼며 신뢰할 수 있는 서사적 파artner로 여겼다.
• 인간다운 목소리를 가진 인간형 로봇의 도입은 관객의 몰입도와 AI 공연의 진정성에 상당한 영향을 미쳤다.
• 공연 후 토론에서 관객들은 공연자의 AI 제어 주장에 신뢰를 보였으며, 이는 서사 프레임과 공연자의 신뢰성이 인식에 중대한 영향을 미친다는 것을 시사한다.
• 이 연구는 대중이 현재 AI 능력에 대해 제한된 인식을 가지고 있음을 드러내며, AI의 진전과 한계에 대해 명확한 커unikation이 필요하다는 점을 강조한다.