[論文レビュー] Psychologically-informed chain-of-thought prompts for metaphor understanding in large language models

Ben Prystawski, Paul H. Thibodeau+2 more|arXiv (Cornell University)|Sep 16, 2022

Language, Metaphor, and Cognition被引用数 8

ひとこと要約

本稿では、認知心理学理論に裏付けられた心理的要因を組み込んだチェーン・オブ・スティェートメント・プロンプトを導入し、大規模言語モデルの隠れ変数に基づく推論構造を整えることで、比喩理解を向上させる手法を提案する。比喩の意味を、主題・対象の関係性や比喩的意図について段階的な推論を行うようにプロンプトすることで、GPT-3モデル（特にCurieおよびDaVinci）は、特に新規またはなじみのない比喩において、類義語選択の正確性が著しく向上し、熟稔度依存性が低下した。

ABSTRACT

Probabilistic models of language understanding are valuable tools for investigating human language use. However, they need to be hand-designed for a particular domain. In contrast, large language models (LLMs) are trained on text that spans a wide array of domains, but they lack the structure and interpretability of probabilistic models. In this paper, we use chain-of-thought prompts to introduce structures from probabilistic models into LLMs. We explore this approach in the case of metaphor understanding. Our chain-of-thought prompts lead language models to infer latent variables and reason about their relationships in order to choose appropriate paraphrases for metaphors. The latent variables and relationships chosen are informed by theories of metaphor understanding from cognitive psychology. We apply these prompts to the two largest versions of GPT-3 and show that they can improve performance in a paraphrase selection task.

研究の動機と目的

• 確率的言語理解モデルと大規模言語モデル（LLMs）を統合するために、認知心理学理論をプロンプトに埋め込む。
• 比喩理解理論に基づいたチェーン・オブ・スティェートメント・プロンプトが、比喩の類義語選択タスクにおけるLLM性能を向上させるかどうかを調査する。
• 明示的で構造化された推論を誘発することで、LLMの比喩熟稔度依存性を低減する。
• 推論構造（例：議論中の問い vs. 主題・対象の特定）の違いがモデル性能に与える影響を評価する。
• 理論に基づいた推論ステップによって誘導された場合、LLMが新規比喩に一般化できるかどうかを評価する。

提案手法

• 認知心理学の比喩理解理論に基づいた2種類のチェーン・オブ・スティェートメント・プロンプトを開発：1つは議論中の問いに注目し、もう1つは比喩の主題と対象を特定することに焦点を当てる。
• これらのプロンプトを用いて、GPT-3モデル（CurieおよびDaVinci）に比喩の類義語選択の前段階として中間的推論ステップを踏ませた。
• 潜在変数（例：比喩的意図、比喩的ドメイン）とそれらの関係性を推論する推論構造を整え、確率的推論モデルを模倣した。
• 人間がアノテートした類義語オプションを含むKatz比喩コーパスにプロンプトを適用した。
• 異なるプロンプティング条件における平均類義語選択正確度（4段階スケール）を用いて性能を評価した。
• リマークなしのゼロショット性能と、推論ステップを含む性能を比較し、比喩熟稔度がモデル行動に与える影響を分析した。

実験結果

リサーチクエスチョン

• RQ1 心理的要因を組み込んだチェーン・オブ・スティェートメント・プロンプトは、大規模言語モデルの比喩に対する適切な類義語選択能力を向上させることができるか？
• RQ2 認知心理学モデルの潜在変数と関係性について推論するようにLLMにプロンプトすることで、比喩理解タスクの性能が向上するか？
• RQ3 推論の構造（例：議論中の問いに注目するか、主題・対象の特定に注目するか）がモデル性能に影響を与えるか？
• RQ4 チェーン・オブ・スティェートメント・プロンプトは、どの程度LLMの比喩熟稔度依存性を低減するか？
• RQ5 熟稔度に基づくヒューリスティックが失敗するような新規または不慣れな比喩において、このようなプロンプトが性能向上に寄与するか？

主な発見

• Curieの性能はチェーン・オブ・スティェートメント・プロンプトにより著しく向上した。特に、議論中の問いに注目する推論が強調された場合、構造化された推論がモデルが意図的な処理に従うのを助けることが示された。
• DaVinciはリマークなしでも高い性能（平均 = 3.71/4.0）を示したが、プロンプトを適用することでより一貫性が高まり、熟稔度依存性が低下した。これは、リマークが熟稔度バイアスを軽減することを示唆している。
• モデルの推論はしばしば論理的であったが、意味的特徴（例：'土を保持する'を'the stabilizing'に結びつける）を正しい類義語に結びつけることができず、正しい中間ステップでも推論ギャップが生じた。
• 誤りの1つは、特徴（例：'美しい'を'愛は花である'に対して）を正しく特定したが、対応する類義語オプションに結びつけられなかったことである。これは、最終選択段階で整合性が欠けていることを示唆している。
• リマークなしでは比喩熟稔度が性能に顕著に影響したが、リマークありではその影響が薄れた。これは、チェーン・オブ・スティェートメント・プロンプトがより意図的でヒューリスティックに依存しない推論を可能にすることを支持する。
• 熟稔度の高い比喩では強い性能を示したが、リマークなしでは新規比喩でDaVinciは苦戦した。これは、リマークが不慣れまたは複雑な比喩的表現に対して特に有益である可能性を示している。