[論文レビュー] Explaining Patterns in Data with Language Models via Interpretable Autoprompting

Chandan Singh, John X. Morris+3 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用数 14

ひとこと要約

本稿では、反復的なプロンプト生成と再ランク付けを経て、データパターンの人が読み取れる自然言語の説明を自動的に生成するためのiPromptという手法を紹介する。iPromptは、GPT-Jというより小さなモデルを用いても、GPT-3上で人間が書いたプロンプトを上回る性能を発揮し、多様なデータセット—科学的およびNLPタスクを含む—における説明において高い正確性を達成するとともに、下流の応用に向けた解釈可能で一般化可能なプロンプトを可能にする。

ABSTRACT

Large language models (LLMs) have displayed an impressive ability to harness natural language to perform complex tasks. In this work, we explore whether we can leverage this learned ability to find and explain patterns in data. Specifically, given a pre-trained LLM and data examples, we introduce interpretable autoprompting (iPrompt), an algorithm that generates a natural-language string explaining the data. iPrompt iteratively alternates between generating explanations with an LLM and reranking them based on their performance when used as a prompt. Experiments on a wide range of datasets, from synthetic mathematics to natural-language understanding, show that iPrompt can yield meaningful insights by accurately finding groundtruth dataset descriptions. Moreover, the prompts produced by iPrompt are simultaneously human-interpretable and highly effective for generalization: on real-world sentiment classification datasets, iPrompt produces prompts that match or even improve upon human-written prompts for GPT-3. Finally, experiments with an fMRI dataset show the potential for iPrompt to aid in scientific discovery. All code for using the methods and data here is made available on Github.

研究の動機と目的

• 事前学習済み言語モデルを用いて、データ内のパターンについて人間が解釈可能な自然言語の説明を自動で発見・生成する手法を開発すること。
• 従来の自動プロンプト生成手法が生成するプロンプトが解釈不能であるという限界に対処し、生成された説明における意味的意味の明確さを強制すること。
• 異なるLLMやタスクにわたって使用可能な汎用的で転送可能なプロンプトの発見を可能にすること。
• 合成データ、NLP、科学的データを含む多様なデータセット上でこの手法を評価し、その頑健性と有用性を示すこと。
• LLMの活用を予測のためのものにとどめず、科学的知見の生成やデータパターンの説明という観点からもその可能性を検討すること。

提案手法

• iPromptは、与えられたデータセットに対して、事前学習済み言語モデルを用いて反復的に候補となる自然言語の説明（プロンプト）を生成する。
• 各候補プロンプトは、データセット上でゼロショット推論により評価され、ゼロショット損失の移動平均を用いて性能が測定される。
• 局所最適解を避けるために、各候補が異なるトークンで開始するように保証することで、多様性を確保する人口ベースの探索が採用される。
• プロンプトは、温度=1、繰り返しペナルティをタスクごとに調整（例：数学とNLIでは2.0、センチメントでは1.0）したグリーディデコードを用いて生成される。
• プロンプト品質を最適化するために、AutoPromptの修正版が用いられ、主な変更点は：編集のためのランダムな位置選択、損失に基づく受容基準、特殊文字および非英語文字のサポート。
• 最終的な最良のプロンプトは、平均損失が最小でかつ最低3回の評価に達する頻度を満たすものから選ばれ、安定性と信頼性が保証される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、正確で解釈可能な自然言語の説明をデータパターンに対して生成できるか？
• RQ2 GPT-Jというより小さなモデルを用いても、iPromptはGPT-3のような下流のLLMで人間が書いたプロンプトを上回るプロンプトを発見できるか？
• RQ3 iPromptは、合成データ、NLP、科学的データを含むさまざまなデータタイプにどれほど一般化できるか？
• RQ4 iPromptの生成された説明は、fMRI やタンパク質データ解析のような科学的発見をどの程度支援できるか？
• RQ5 生成されたプロンプトは、意味的明確さのおかげで、監査可能かつ異なるモデルやタスクに再利用可能か？

主な発見

• 4つの分類データセットのうち2つにおいて、iPromptはGPT-Jというより小さなモデルを用いて生成したにもかかわらず、GPT-3で使用した場合に人間が書いたプロンプトを上回るプロンプトを発見した。
• iPromptは、数学的演算、自然言語推論、センチメント分類を含む多様なデータセットにおいて、真のパターンを高い正確性で説明した。
• 生成された説明は一貫して解釈可能であり、人間による監査が可能で、異なるLLM間でのプロンプトの転送性を促進した。
• 科学的応用において、iPromptはfMRIデータから意味的で空間的に局在化された概念（例：「素材」や「色」）を効果的に抽出した。脳マップでは、これらの概念が滑らかで凝集した表現として可視化された。
• この手法は強力な一般化性を示した：fMRIデータ内の個々のボクセルモデルは高い予測正確性（測定された反応との相関）を達成し、概念の局在化はランダムシャッフルよりも顕著に空間的に一貫性があった。
• iPromptの性能は、スイスプロトタンパク質キーワードや物語的スピーチfMRIデータを含む複数のデータタイプで頑健であったため、広範な適用可能性が示された。