[論文レビュー] Improvised Comedy as a Turing Test

Kory W. Mathewson, Piotr Mirowski|arXiv (Cornell University)|Nov 23, 2017

Artificial Intelligence in Games参考文献 7被引用数 17

ひとこと要約

本論文は、ライブ・シアターにおける人間らしさのAIパフォーマンスを評価するため、即興コメディを現実世界のチューリングテストとして提案している。AIチャットボット（A.L.Ex）は、音声認識および音声合成を備え、人間型ロボットに実装されており、30回の公演で人間の俳優と並んでパフォーマンスを披露した。観客は頻繁にAIと人間の即興俳優を区別できず、信じがたいほど高い没入感と感情的関与を示した。

ABSTRACT

The best improvisational theatre actors can make any scene partner, of any skill level or ability, appear talented and proficient in the art form, and thus "make them shine". To challenge this improvisational paradigm, we built an artificial intelligence (AI) trained to perform live shows alongside human actors for human audiences. Over the course of 30 performances to a combined audience of almost 3000 people, we have refined theatrical games which involve combinations of human and (at times, adversarial) AI actors. We have developed specific scene structures to include audience participants in interesting ways. Finally, we developed a complete show structure that submitted the audience to a Turing test and observed their suspension of disbelief, which we believe is key for human/non-human theatre co-creation.

研究の動機と目的

• 観客がライブ・シアターにおけるAI生成の即興対話を、人間のパフォーマンスから信頼性を持って識別できるかを調査すること。
• 観客がAIを共同クリエイターと信じ込んでいる場合、感情的関与と物語への没頭がどのように影響を受けるかを調査すること。
• 人間型ロボットなどの身体的実体化が、人間-AI共同創造における観客の信じがたい感情の持続にどのように寄与するかを評価すること。
• 観客の期待や事前の知識が、リアルタイムのパフォーマンスにおけるAIの本物らしさの認識に与える影響を評価すること。

提案手法

• AI即興俳優であるA.L.Exは、10万件の映画字幕で学習された、5万語の語彙を持つ、シーケンス・ツー・シーケンスLSTMベースのニューラルネットワークである。
• A.L.Exは音声認識および音声合成システムを用いて、人間のパフォーマーとリアルタイムで会話できるようにしている。
• 会話の順番、文の選択、感情分析のヒューリスティクスを用いて、文脈にふさわしい反応を生成している。
• 人間型ロボット（EZ-Robot製）がA.L.Exを物理的に実体化することで、パフォーマンス中の観客の注目と存在感を高めている。
• 一部の公演では、観客に非人間的AIが会話制御を行っていると錯覚させるために「ウィザード・オブ・オズ」方式を用い、後に人間のオペレーターが操作していたことを明かした。
• パフォーマンスでは観客の提案をもとにシーンの状況を設定し、シーンは3〜6分間で自然に終了するように人間の俳優が演出した。

実験結果

リサーチクエスチョン

• RQ1 観客は、リアルタイムでAIが劇的パフォーマンスを制御していることをどれほど信頼性を持って検出できるか。
• RQ2 人間型ロボットの存在が、即興シーンにおける観客の没頭感やAIの意思行動の信ぴょうにどのように影響するか。
• RQ3 AIキャラクターへの感情的絆が、観客の信じがたい感情の持続に果たす役割は何か。
• RQ4 AIがパフォーマンスを行っていると明示的に知らされた場合と、自律的であると錯覚させられた場合とで、観客の認識はどのように変化するか。
• RQ5 ライブ即興パフォーマンスにおいて、AI生成対話が知的で感情的理解があるように見える要因は何か。

主な発見

• チューリングテストに類似した設定において、事前に警告されない観客のほとんどがAIを人間と誤認した。これは、知的さの強い錯覚を示している。
• ウィザード・オブ・オズのシナリオにおいて、約半数の観客が、システムが人間のオペレーターによって制御されていたにもかかわらず、AIが完璧にパフォーマンスしていたと信じ込んでいた。
• 観客は頻繁に信じがたい感情の持続を示し、AIキャラクターに感情的絆を抱き、信ぴょうできる物語のパートナーとみなしていた。
• 人間のような声を発する人間型ロボットの導入により、観客の没頭感とAIパフォーマンスの本物らしさの認識が顕著に向上した。
• 公演後のディスカッションから、観客はパフォーマーのAI制御に関する主張を信頼しており、物語のフレーミングとパフォーマーの信頼性が認識に強く影響していることがわかった。
• 本研究は、一般大衆が現在のAI能力について十分に理解していないことを浮き彫りにし、AIの進歩と限界についてより明確なコミュニケーションの必要性を強調している。