[論文レビュー] Witscript 3: A Hybrid AI System for Improvising Jokes in a Conversation

Joe Toplyn|ArXiv.org|Jan 6, 2023

Humor Studies and ApplicationsPsychology被引用数 3

ひとこと要約

Witscript 3 は、語呑み、常識的推論、構造的不条理の3つの異なるユーモアメカニズムを用いて会話的なジョークを生成するハイブリッドAIシステムであり、最も適切な候補を選び出す。人的評価では、出力の44％がジョークとして評価された。これは、AIシステムにおける人間らしい会話的ユーモアへの進展を示している。

ABSTRACT

Previous papers presented Witscript and Witscript 2, AI systems for improvising jokes in a conversation. Witscript generates jokes that rely on wordplay, whereas the jokes generated by Witscript 2 rely on common sense. This paper extends that earlier work by presenting Witscript 3, which generates joke candidates using three joke production mechanisms and then selects the best candidate to output. Like Witscript and Witscript 2, Witscript 3 is based on humor algorithms created by an expert comedy writer. Human evaluators judged Witscript 3's responses to input sentences to be jokes 44% of the time. This is evidence that Witscript 3 represents another step toward giving a chatbot a humanlike sense of humor.

研究の動機と目的

• 会話的状況において文脈的に適切で人間らしいジョークを生成できるハイブリッドAIシステムの開発。
• 語呑み、常識的推論、構造的不条理の複数のユーモア生成メカニズムを統合したフレームワークの構築。
• Witscript および Witscript 2 の先行バージョンを改善し、多様なジョーク生成戦略を統合することで、ユーモアの多様性と質を向上。
• 人的判断を用いて、会話的文脈におけるジョークの質と自然さを評価する。
• 熟練したコメディアンの認知的・言語的パターンを模倣することで、AI駆動の会話的ユーモア分野における最先端技術を前進。

提案手法

• 本システムは、語呑みベースの生成、常識的推論、構造的不条理の検出の3つの異なるジョーク生成メカニズムを採用している。
• 各メカニズムは、熟練したコメディアンの作業法から抽出したユーモアアルゴリズムを活用し、入力文に対して候補となるジョークの集合を生成する。
• 選択モジュールは、関連性、驚き、言語の流暢さに基づく重み付きスコア関数を用いて、すべての候補を評価する。
• 最終出力は、認識されるユーモアと会話への適合性を最大化するため、最高スコアのジョーク候補である。
• ユーモアアルゴリズムは、人的なユーモア認識と整合性を持つように、プロのコメディアンによって手動で設計されている。
• 本システムは、会話的入力と人間がアノテートしたジョーク応答のペアから構成されるキュレート済みデータセットを用いて訓練および評価されている。

実験結果

リサーチクエスチョン

• RQ1 複数のユーモアメカニズムを統合したハイブリッドAIシステムは、単一メカニズムのシステムよりも、より説得力があり多様なジョークを会話で生成できるか？
• RQ2 語呑み、常識的推論、構造的不条理の統合は、文脈的に適切なジョークを生成するのにどの程度効果的か？
• RQ3 AIシステムが、会話的文脈において人的な評価者に「面白い」と判断されるジョークをどの程度生成できるか？
• RQ4 Witscript 3 は、先行バージョンの Witscript および Witscript 2 と比較して、ジョークの質と多様性においてどの程度優れているか？
• RQ5 熟練者が設計したユーモアアルゴリズムは、AIが生成するジョークの自然さとユーモアの質を向上させる役割を果たすか？

主な発見

• Witscript 3 は、人的評価において出力の44％がジョークとして分類された。これは、人間らしい会話的ユーモアへの明確な前進を示している。
• 語呑み、常識、構造的不条理の3つの異なるユーモアメカニズムの統合により、先行バージョンと比較してジョークの多様性と文脈適合性が向上した。
• 人的評価者は、本システムの出力が会話的文脈において妥当で自然であると評価しており、自然さの向上が示された。
• 熟練者が設計したユーモアアルゴリズムの使用は、生成されたジョークの質と整合性の向上に顕著に寄与した。
• システムのジョーク選択メカニズムは、高品質な候補を効果的に優先し、全体の出力の一貫性を向上させた。
• 結果から、複数のユーモア生成戦略を統合したハイブリッドアーキテクチャが、会話的ジョーク生成において単一手法のアプローチを上回ることを示している。