[論文レビュー] Describing Differences between Text Distributions with Natural Language

Ruiqi Zhong, Charlie Snell+2 more|arXiv (Cornell University)|Jan 28, 2022

Topic Modeling被引用数 8

ひとこと要約

本論文では、微調整されたGPT-3と学習済み検証器を用いて、自然言語の仮説を生成し、2つのテキスト分布の差異を自動的に記述する手法を提案する。このアプローチは、54のタスクからなるベンチマークで人間のアノテーションに類似した記述を76%の正確性で生成し、ゼロショットGPT-3を著しく上回る性能を達成する。

ABSTRACT

How do two distributions of texts differ? Humans are slow at answering this, since discovering patterns might require tediously reading through hundreds of samples. We propose to automatically summarize the differences by "learning a natural language hypothesis": given two distributions $D_{0}$ and $D_{1}$, we search for a description that is more often true for $D_{1}$, e.g., "is military-related." To tackle this problem, we fine-tune GPT-3 to propose descriptions with the prompt: "[samples of $D_{0}$] + [samples of $D_{1}$] + the difference between them is_____." We then re-rank the descriptions by checking how often they hold on a larger set of samples with a learned verifier. On a benchmark of 54 real-world binary classification tasks, while GPT-3 Curie (13B) only generates a description similar to human annotation 7% of the time, the performance reaches 61% with fine-tuning and re-ranking, and our best system using GPT-3 Davinci (175B) reaches 76%. We apply our system to describe distribution shifts, debug dataset shortcuts, summarize unknown tasks, and label text clusters, and present analyses based on automatically generated descriptions.

研究の動機と目的

• 訓練/テスト分割や時系列的シフトのような2つのテキスト分布を区別する自然言語記述を自動で発見すること。
• 数千のテキストサンプルを人手でスキャンして分布の差異を特定することは現実的ではないという課題に対処すること。
• ゼロショットLLMプロンプティングの改善のため、微調整と学習済み検証器による再順序付けを導入し、より高品質な仮説生成を実現すること。
• 実世界のNLPデータセット、分布シフト検出、データセットのショートカット同定の分野でこの手法を検証すること。
• 自然言語要約を通じて、モデルの挙動、データバイアス、進化するテキストトレンドの解釈可能で人間が理解可能な分析を可能にすること。

提案手法

• 自然言語記述の提案能力を向上させるために、新しく収集した仮説生成例のデータセットでGPT-3（Davinci, 175B）を微調整する。
• プロンプトベースのアプローチを採用：[D₀のサンプル] + [D₁のサンプル] + 'それらの差異は' という構文からGPT-3が候補仮説を生成する。
• D₀とD₁のより大きなサンプルセットにおいて各仮説が成立する頻度を評価する学習済み検証器を用いて、候補仮説を再順序付けする。
• モデル活性化のトリガー同定、データセットのショートカット検出、テキストクラスタの要約、分布シフトの分析といった複数のタスクにフレームワークを適用する。
• クラウドワーカーによる過半数賛同に基づく確率的フレームワークを用いて仮説の意味を定義し、人間の判断と整合性を保つ。
• 3段階のデータ収集パイプラインを活用する：(1) 仮説の収集、(2) GPT-3を用いたポジティブ/ネガティブ例の生成、(3) 人間のアノテーションによるフィルタリングと検証。

実験結果

リサーチクエスチョン

• RQ1 微調整および再順序付けが施された大規模言語モデルは、2つのテキスト分布の差異を正確に捉える自然言語記述を生成できるか？
• RQ2 提案手法は、否定語やハイパーリンクの相関といった既知のデータセットショートカットをどれほど効果的に同定できるか？
• RQ3 二値テキスト分類タスクにおいて、ポジティブクラスの特徴に関する人間のアノテーションを、どの程度正確に再構築できるか？
• RQ4 実世界のNLPデータセットにおいて、時間的またはデータ分割に起因する意味のある分布シフトを同定・記述できるか？
• RQ5 モデルの解釈可能性、バイアス検出、クラスタ要約といった多様な応用分野に、この手法はどの程度スケーラブルか？

主な発見

• 提案手法は、GPT-3 Davinci（175B）を微調整および再順序付けすることで、54の実世界の二値分類タスクから成るベンチマークで、人間のアノテーションに類似した記述を76%の正確性で生成した。
• ゼロショットGPT-3 Curie（13B）は、人間のアノテーションに類似した記述をたった7%の頻度で生成するにとどまり、微調整と検証の必要性を浮き彫りにしている。
• システムは、MNLIで否定語と矛盾クラスとの間の誤った相関関係、SMSスパムでハイパーリンクとスパムとの間の誤った相関関係といった、既知のデータセットショートカットを正常に再発見した。
• SUBJデータセットが映画レビューとあらすじを対比させることで構築されたという事実を、システムは正しく同定した。これは、近年の多くの論文が見逃していた事実である。
• この手法により、たとえば深層学習モデルの特定のニューロンがどの入力をトリガーとするかを特定するなど、モデル挙動の解釈可能な分析が可能になった。
• フレームワークは、テキストクラスタの要約、分布シフトの検出、モデルバイアスのデバッグといった多様な応用分野に一般化可能である。