[論文レビュー] Fluid Transformers and Creative Analogies: Exploring Large Language Models' Capacity for Augmenting Cross-Domain Analogical Creativity

Zijian Ding, Arvind Srinivasan+2 more|arXiv (Cornell University)|Jan 1, 2023

Topic Modeling被引用数 2

ひとこと要約

本研究では、大規模言語モデル（LLMs）を用いてドメインを越えた類似対比を生成し、人間の創造的問題解決を補完する方法を調査している。ゼロショットおよびフェイシュットプロンプティングを用いて、LLMsは80%のケースで役立つと評価され、問題解決タスクの80%で再定式化の変化が生じたが、最大25%の出力で不快な内容の可能性があると指摘され、LLMを用いた類似対比の創造的応用には可能性とリスクの両方が伴うことが示された。

ABSTRACT

Cross-domain analogical reasoning is a core creative ability that can be challenging for humans. Recent work has shown some proofsof-concept of Large language Models’ (LLMs) ability to generate cross-domain analogies. However, the reliability and potential usefulness of this capacity for augmenting human creative work has received little systematic exploration. In this paper, we systematically explore LLMs capacity to augment cross-domain analogical reasoning. Across three studies, we found: 1) LLM-generated crossdomain analogies were frequently judged as helpful in the context of a problem reformulation task (median 4 out of 5 helpfulness rating), and frequently (∼80% of cases) led to observable changes in problem formulations, and 2) there was an upper bound of ∼25% of outputs being rated as potentially harmful, with a majority due to potentially upsetting content, rather than biased or toxic content. These results demonstrate the potential utility — and risks — of LLMs for augmenting cross-domain analogical creativity.

研究の動機と目的

• LLMが生成するドメインを越えた類似対比が、創造的タスクにおける人間の問題再定式化を効果的に支援できるかどうかを調査すること。
• LLMが生成する類似対比の信頼性と有用性を評価し、特に表面的な類似性に固定されがちな類似対比の推論を克服する点での支援の有効性を検討すること。
• LLMが生成する類似対比に伴うリスク、特に有害または不快な内容を含む可能性を検討すること。
• LLMを繰り返し的でユーザー主導の創造的プロセスに統合する可能性を検討し、より深い洞察の生成を促進すること。

提案手法

• 構造化された問題プロンプトを用いて、ゼロショットおよびフェイシュットプロンプティング戦略を採用し、LLMsからドメインを越えた類似対比を引き出す。
• 人間参加者を対象とした3つの制御された研究を実施し、LLMが生成する類似対比が問題再定式化およびアイデーションに与える影響を評価した。
• リクルート尺度（1〜5）を用いて類似対比の有用性を評価し、露出後の問題定式の変化を追跡した。
• 潜在的に有害な出力の性質を分析し、有毒性、偏見、不快な内容の違いを区別した。
• LLMと構造化された知識ベース（例：Wolfram Alpha）を組み合わせることで、洞察の深さを向上させることの可能性を探った。
• ユーザーの再定式化が次のLLMプロンプトに反映されるような反復的統合パターンを提案した。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成するドメインを越えた類似対比は、人間の問題再定式化の質と多様性をどの程度向上させるか？
• RQ2 LLMが生成する類似対比は、創造的問題解決の文脈でどの程度役立つと認識されるか？
• RQ3 LLMが生成する類似対比のうち、どの程度が潜在的に有害であると評価され、どのような種類の害が主に見られるか？
• RQ4 LLMが生成する類似対比は、類似対比抽出における表面的類似性への固定を克服するのを支援できるか？
• RQ5 LLMを繰り返し的設計プロセスに統合することで、洞察の生成と概念的探求をどの程度向上させられるか？

主な発見

• LLMが生成する類似対比は、参加者全体で中央値として5段階中4段階の評価を得ており、創造的問題解決における強い有用性が認識された。
• 露出後、80%のケースで参加者が問題定式を明確に変更しており、認知的関与が活発に行われたことが示された。
• LLMが生成する出力の約25%が潜在的に有害と評価され、その大部分は有毒性や偏見ではなく、不快な内容によるものであった。
• 本研究ではワンショットプロンプティングがフェイシュットプロンプティングを上回ったが、差は限定的であり、プロンプト設計や例の質に依存する可能性がある。
• 類似対比における洞察の深さは限定的であり、深いつながりの概念的転換を示した参加者は少数にとどまり、形式的な言語パターンを超えた機能的言語能力の欠如が示唆された。
• 今後のLLMの構造化された知識ベースや反復的フィードバックループとの統合により、生成される類似対比の質と関連性を向上させられる可能性がある。