[論文レビュー] Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT

Bhavya Bhavya, Jinjun Xiong+1 more|arXiv (Cornell University)|Oct 9, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、概念的および説明的タスクのための類推を生成するためにInstructGPTにプロンプトを提示する手法を提案し、正確な命令形プロンプトと低温度設定が最も効果的な結果をもたらすことを示している。最大のInstructGPTモデルは類推の概念生成タスクで人間水準のパフォーマンスを達成しているが、説明生成は依然として困難であり、モデルのプロンプト設計への感受性とモデルサイズに依存するパフォーマンスの違いが浮き彫りになっている。

ABSTRACT

We propose a novel application of prompting Pre-trained Language Models (PLMs) to generate analogies and study how to design effective prompts for two task settings: generating a source concept analogous to a given target concept (aka Analogous Concept Generation or ACG), and generating an explanation of the similarity between a given pair of target concept and source concept (aka Analogous Explanation Generation or AEG). We found that it is feasible to prompt InstructGPT to generate meaningful analogies and the best prompts tend to be precise imperative statements especially with a low temperature setting. We also systematically analyzed the sensitivity of the InstructGPT model to prompt design, temperature, and injected spelling errors, and found that the model is particularly sensitive to certain variations (e.g., questions vs. imperative statements). Further, we conducted human evaluation on 1.4k of the generated analogies and found that the quality of generations varies substantially by model size. The largest InstructGPT model can achieve human-level performance at generating meaningful analogies for a given target while there is still room for improvement on the AEG task.

研究の動機と目的

• 大規模言語モデル（例：InstructGPT）を用いて概念的および説明的タスクのための意味のある類推を生成する可能性を調査すること。
• プロンプト設計、温度ハイパーパrameter、およびスペルミスが類推生成の品質に与える影響を検討すること。
• 自動評価および人的評価を通じて、モデルサイズが生成された類推の品質に与える影響を評価すること。
• 人間がアノテートした参照データを用いて、科学分野における類推生成のベンチマークを確立すること。

提案手法

• 本研究では、さまざまなサイズ（0.3B ～ 175Bパラメータ）のInstructGPTモデルを用い、慎重に設計されたテキストプロンプトを用いて類推を生成している。
• 2つのタスクを定義している：類推的コンセプト生成（acg）では、与えられたターゲットに対してソースコンセプトを生成する。類推的説明生成（aeg）では、類似性の説明を生成する。
• プロンプトの形式を系統的に変化させ（例：命令形 vs. 質問形）、温度設定を変えて感度を評価している。
• プロンプトにスペルミスを挿入して耐性を評価し、100件の科学的類推で構成される手作業で整備された参照データセットと比較している。
• 生成された類推1,400件について人的評価を実施し、品質を評価しており、アノテーター間の一貫性はCohenのカッパ係数で測定されている。
• 自動評価では、生成出力と参照テキストを比較するためにBLEUおよびROUGEスコアが用いられている。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なるプロンプト設計および温度設定において、InstructGPTは意味のある類推をどれほど効果的に生成できるか？
• RQ2 RQ2: InstructGPTはプロンプトスタイル、温度、スペルミスの変化に対してどれほど感受性を示すか？
• RQ3 RQ3: モデルサイズはacgおよびaegタスクにおける生成類推の品質にどのように影響するか？

主な発見

• 最大のInstructGPTモデル（175Bパラメータ）は、類推的コンセプト生成（acg）タスクで人間水準のパフォーマンスを達成し、人的評価において70.05％の類推が意味のあるものと評価された。
• 正確な命令形プロンプトと低温度設定が、最も高品質な類推を生み出した。質問形プロンプトは一貫性のない、あるいは関連性の薄い出力をもたらした。
• モデルはプロンプト設計に対して高い感受性を示し、疑問形に比べて命令形が著しく優れた結果をもたらした。
• 小さなモデル（例：0.3B）は低く、acgタスクにおいてわずか1.90％の出力が意味のあるものと評価された。これはモデルスケールに強く依存していることを示している。
• aegタスクはより困難であった：最大のモデルですら、意味のある説明の割合は53.79％にとどまり、類推的推論における大規模言語モデルの強力なテスト課題のままであることが示された。
• 人的評価では、カッパ係数が0.3～0.5の間であり、中程度の信頼性があることが判明した。研究者らは、すべてのデータセットを公開して今後の研究を支援している。