[論文レビュー] ORCA: Interpreting Prompted Language Models via Locating Supporting Data Evidence in the Ocean of Pretraining Data

Xiaochuang Han, Yulia Tsvetkov|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 10

ひとこと要約

この論文では、反復的勾配ベース選択を用いて、下流タスクにおける言語モデルのパフォーマンスを支える最小限の事前学習データサブセットを特定するORCAという手法を提案する。その結果、感情分析やテクスト帰属関係のタスクにおけるBERTのゼロショット性能は、BookCorpusと、タスクの説明語の同義語をマスクした例に強く依存していることが明らかになった。

ABSTRACT

Large pretrained language models have been performing increasingly well in a variety of downstream tasks via prompting. However, it remains unclear from where the model learns the task-specific knowledge, especially in a zero-shot setup. In this work, we want to find evidence of the model's task-specific competence from pretraining and are specifically interested in locating a very small subset of pretraining data that directly supports the model in the task. We call such a subset supporting data evidence and propose a novel method ORCA to effectively identify it, by iteratively using gradient information related to the downstream task. This supporting data evidence offers interesting insights about the prompted language models: in the tasks of sentiment analysis and textual entailment, BERT shows a substantial reliance on BookCorpus, the smaller corpus of BERT's two pretraining corpora, as well as on pretraining examples that mask out synonyms to the task verbalizers.

研究の動機と目的

• 下流タスクにおける言語モデルのパフォーマンスを直接支える、小規模でタスク固有の事前学習データサブセットを特定すること。
• ファインチューニングなしでプロンプト付き言語モデルが知識を学習する仕組みを、特にゼロショット設定において解釈可能にする。
• 入力レベルの帰属分析を越えて、タスク全体にわたりモデル行動に影響を与える事前学習データの証拠を特定すること。
• モデルがタスクの習得に、特定のデータソースや事前学習データ内のパターンに依存しているかどうかを分析すること。
• モデル意思決定の裏にある証拠を検討することで、モデルの信頼性、データ品質、潜在的なバイアスに関する洞察を提供すること。

提案手法

• 下流タスクにおけるパフォーマンスへのインクリメンタルな影響が大きい事前学習例の最小集合を特定する問題を形式化する。
• 下流タスクからのタスク固有の勾配を用いて、モデルの予測に最も影響を与える事前学習例を反復的に選択する。
• 各例ごとの勾配を計算し、勾配の大きさが最大の例を段階的に選択する反復的選択プロセスを適用する。
• 支援データ証拠の候補集合を維持し、勾配誘導の選択を複数ラウンドにわたり精錬する。
• 各事前学習例の含むことでモデルの下流タスクパフォーマンスに与える影響を測る損失ベースの目的関数を用いる。
• 再訓練を伴わず、事前学習データそのもので動作させ、事前学習中に特定の例を重み付け直すのをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 どの具体的な事前学習例が、特定の下流タスクにおける言語モデルのゼロショットパフォーマンスを最も直接的に支えているか？
• RQ2 感情分析やテクスト帰属関係のようなタスクにおけるモデルの習得能力は、特定の事前学習コーパスやパターンに起因しているか？
• RQ3 支援データ証拠は、ランダムサブセットや埋め込み空間内の最近傍者と比較して、下流タスクの類似性と影響力の面でどのように異なるか？
• RQ4 最も影響力のある事前学習例に現れる言語的パターン（例：同義語のマスキング）はどのようなものか？
• RQ5 ファインチューニングや再訓練にアクセスできない状況でも、勾配ベースの選択が高影響力の事前学習データを効果的に特定できるか？

主な発見

• BERTの感情分析およびテクスト帰属関係タスクにおけるゼロショットパフォーマンスは、2つの事前学習ソースの中で比較的小さなBookCorpusに強く支えられている。
• タスクの説明語の同義語をマスクした例に強い依存を示しており、同義語パラフレーズのパターン記憶が示唆される。
• ORCAが特定した支援データ証拠は、ランダムサブセットや埋め込み空間内の最近傍者と比較して、下流タスクの類似性と影響力の面で優れている。
• MAUVE類似度スコアは、支援データ証拠の文脈が、ベースライン手法と比較して下流タスクの入力に意味的により近いことを示している。
• モデルの意思決定が直接的に入力プロンプトに起因しない場合でも、この手法は高影響力の事前学習例を効果的に特定できた。
• 発見された証拠は、モデルの行動が、マスクされた同義語置換のような特定の言語的パターンに影響を受けていることを明らかにした。