[論文レビュー] ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models

Sophie Jentzsch, Kristian Kersting|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、チャットGPTがプロンプトベースの実験を通じて、冗談の生成、説明、検出に関して真に理解し、生成できるかどうかを調査している。流暢で文脈に適ったように見えるものの、チャットGPTは主に25の事前に存在する冗談の固定されたセットを再現しているにすぎず、オリジナルのユーモアを生成しているわけではない。また、無効な冗談についても説得力のある説明を捏造しており、パターンマッチングを超えた真のユーモア理解には限界があることが示唆される。

ABSTRACT

Humor is a central aspect of human communication that has not been solved for artificial agents so far. Large language models (LLMs) are increasingly able to capture implicit and contextual information. Especially, OpenAI's ChatGPT recently gained immense public attention. The GPT3-based model almost seems to communicate on a human level and can even tell jokes. Humor is an essential component of human communication. But is ChatGPT really funny? We put ChatGPT's sense of humor to the test. In a series of exploratory experiments around jokes, i.e., generation, explanation, and detection, we seek to understand ChatGPT's capability to grasp and reproduce human humor. Since the model itself is not accessible, we applied prompt-based experiments. Our empirical evidence indicates that jokes are not hard-coded but mostly also not newly generated by the model. Over 90% of 1008 generated jokes were the same 25 Jokes. The system accurately explains valid jokes but also comes up with fictional explanations for invalid jokes. Joke-typical characteristics can mislead ChatGPT in the classification of jokes. ChatGPT has not solved computational humor yet but it can be a big leap toward "funny" machines.

研究の動機と目的

• チャットGPTが真に人間のユーモアを理解・生成・説明できるかどうかを評価すること。
• モデルがオリジナルの冗談を生成しているのか、それとも訓練データからの事前の存在する冗談を単に再現しているのかを調査すること。
• 構造的・意味的特徴に基づいてユーモアを検出できるかどうかを評価すること。
• チャットGPTが冗談に対して真実の説明を提供しているのか、それとも非冗談に対しても捏造された説明を提供しているのかを検討すること。
• 大規模言語モデル（LLM）が表面的なパターンを越えて、ユーモアの本質的理解を反映している程度を理解すること。

提案手法

• 初期のプロンプト効果を避けるために、新規のチャットコンテキストを使用したプロンプトベースの実験を実施した。
• 繰り返しプロンプトを用いて1,008個の冗談を生成し、繰り返しと多様性を分析した。
• 有効な冗談と無効な冗談を提示して、説明の正確性と説得力を評価する目的で、冗談の説明を評価した。
• 質問・答え形式、言葉遊び、トピックなどの構造的特徴に基づいて、冗談に似たサンプルを分類し、検出能力をテストした。
• 非冗談の事例において、一貫性、整合性、捏造の有無を分析し、特にその点に注目した。
• 制御された実験設定を用いて、文脈的要因の影響を分離し、モデルの本質的機能に焦点を当てた。

Figure 1: Exemplary illustration of a conversation between a human user and an artificial chatbot. The joke is a true response to the presented prompt by ChatGPT.

実験結果

リサーチクエスチョン

• RQ1 チャットGPTはどれほどオリジナルの冗談を生成しているのか。それとも、主に事前に存在する25個の固定された冗談を繰り返しているのか。
• RQ2 チャットGPTは、なぜ冗談が面白いのかを正確に説明できるのか。また、実際に面白くない冗談に対しても、説明を捏造するのか。
• RQ3 実際にユーモアを含まないが、冗談に似た構造を持つものに対して、チャットGPTはどれほど正確にユーモアを検出できるのか。
• RQ4 モデルは表面的な特徴（構造や言葉遊び）に依存しているのか、それとも意味的・文脈的な深いユーモア理解をしているのか。
• RQ5 モデルの行動は、ユーモア処理の背後にあるメカニズムがパターンマッチングか、真の理解かをどのように明らかにしているのか。

主な発見

• 生成された1,008個の冗談の90％以上が、単に25個の繰り返しの冗談に限られていた。これは、オリジナルの生成ではなく、固定された冗談プールに強く依存していることを示している。
• 有効な冗談に対しては、言葉遊びや構造的要素を正しく特定することで、チャットGPTは冗談のメカニズムにある程度の理解を示していた。
• 非冗談に対しては、架空ではあるが説得力のある説明を生成しており、説得力のある推論を捏造する傾向があることが明らかになった。
• 複数の冗談的特徴（例：構造、言葉遊び、トピック）が存在するほど、冗談と分類される可能性が高くなることから、パターンに基づいた検出が行われていることが示唆された。
• 表面的な冗談に似た構造だけでは、チャットGPTはだまされなかった。これは、形式を超えて内容と意味を検討していることを示している。
• 流暢さと文脈への適性は見られるものの、意図的に面白くないオリジナルのコンテンツを生成する能力に欠けている。これは、計算的ユーモアがまだ解決されていないことを示唆している。

Figure 2: Modification of top jokes to create joke detection conditions. Below each condition, the percentages of samples are stated that were classified as joke (green), potentially funny (yellow), and not as a joke (red). In condition (A) Minus Wordplay , the comic element, and, therefore, the pun