[論文レビュー] Example-based Hypernetworks for Out-of-Distribution Generalization

Tomer Volk, Eyal Ben‐David+3 more|arXiv (Cornell University)|Mar 27, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、自然言語処理における未学習ドメインへの一般化を目的とした、例ベースのハイパーネットワークフレームワーク「Hyper-PADA」を提案する。T5エンコーダーを用いて入力例からドメイン意味的シグネチャを生成し、それらをハイパーネットワークが用いてタスク固有の分類器重みを生成する。これにより、感情分析および自然言語推論の29の適応シナリオにおいて、最先端の性能を達成した。

ABSTRACT

As Natural Language Processing (NLP) algorithms continually achieve new milestones, out-of-distribution generalization remains a significant challenge. This paper addresses the issue of multi-source adaptation for unfamiliar domains: We leverage labeled data from multiple source domains to generalize to unknown target domains at training. Our innovative framework employs example-based Hypernetwork adaptation: a T5 encoder-decoder initially generates a unique signature from an input example, embedding it within the source domains' semantic space. This signature is subsequently utilized by a Hypernetwork to generate the task classifier's weights. We evaluated our method across two tasks - sentiment classification and natural language inference - in 29 adaptation scenarios, where it outpaced established algorithms. In an advanced version, the signature also enriches the input example's representation. We also compare our finetuned architecture to few-shot GPT-3, demonstrating its effectiveness in essential use cases. To our knowledge, this marks the first application of Hypernetworks to the adaptation for unknown domains.

研究の動機と目的

• トレーニング時におけるターゲットドメインデータの非利用を前提とした、NLPにおける分布外一般化の課題に対処すること。
• 入力例の共通特徴とドメイン固有特徴を明示的にモデル化することで、マルチソースドメイン適応を向上させること。
• トレーニング時にラベル付きまたはラベルなしのターゲットデータを必要とせず、未学習ドメインに一般化可能な手法を開発すること。
• ハイパーネットワークを用いた動的分類器重み生成と例固有表現の統合により、適応性能を向上させること。

提案手法

• 複数のソースドメインの共有意味的空間に、各入力例を一意に埋め込むためのT5ベースのエンコーダーを用い、意味的シグネチャを生成する。
• 例のシグネチャに基づいて、下流タスク用の分類器重みを生成するハイパーネットワークを採用し、例固有の適応を可能にする。
• 例の元の埋め込みとシグネチャ埋め込みを統合することで、特徴表現の表現力を向上させる。
• トレーニング中にターゲットドメインデータにアクセスできない状態で、複数のソースドメインのラベル付きデータを用いて、システム全体をエンドツーエンドで訓練する。
• 複数の言語およびドメインをカバーする、感情分析や自然言語推論を含むシーケンス分類タスクに、このフレームワークを適用する。
• ドメイン固有の意味的シグネチャを抽出するためのDRF（Distributional Representation Features）フレームワークを用い、それらがハイパーネットワークの重み生成を支援する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインデータにアクセスできない状況下でも、ハイパーネットワークをNLPにおける教師なしドメイン適応に効果的に適用できるか？
• RQ2 学習済みシグネチャを用いた例ベース分類器重み生成は、標準的なドメイン適応手法と比較して、未学習ドメインへの一般化を改善するか？
• RQ3 ハイパーネットワークが生成する重みと例固有表現の統合は、分布外設定における性能にどのように影響を与えるか？
• RQ4 ハイパーネットワークが生成する分類器重みの多様性は、適応性能の向上とどの程度相関しているか？
• RQ5 GPT-3などの大規模言語モデルを用いた少サンプルプロンプティングと比較して、本手法は未学習ドメインへのゼロショット適応においてどの程度優れているか？

主な発見

• Hyper-PADAは、感情分析および自然言語推論タスクの29の適応シナリオにおいて、確立されたドメイン適応アルゴリズムをすべて上回った。
• CD MNLIベンチマークでは、潜在的なデータリークの可能性があるにもかかわらず、GPT-3（Davinci-003）の5.3パーセンテージポイント高い平均F1スコアを達成した。
• CLCD感情分析タスクでは、少サンプル設定でGPT-3を5.6パーセンテージポイント上回り、平均正答率90.1％を達成した。
• CLCD感情分析において、ハイパーネットワークが生成する分類器重みの多様性とPADAに対する性能向上のスピアマン相関係数は0.475であった。これは有意義な相関関係を示している。
• アブレーションスタディにより、例ベース分類器パrametrizationが性能向上に顕著に寄与していることが確認され、重みの多様性と適応改善の間には強い相関関係があることが示された。
• 本フレームワークは4言語および8つのソースドメインにおいても堅牢に機能し、未学習のターゲットドメインへの一般化能力を裏付けた。