[論文レビュー] The Stem Cell Hypothesis: Dilemma behind Multi-Task Learning with Transformer Encoders

Han He, Jinho D. Choi|arXiv (Cornell University)|Sep 14, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、トランスフォーマーエンコーダー内の共有アテンションヘッドが本質的に複数のNLPタスクに優れているが、同時に微調整される際に矛盾する最適化信号のため機能が低下することを説明する「幹細胞仮説」を提唱する。5つのコアNLPタスク（POS, NER, DEP, CON, SRL）における広範な pruning とパラメータフリーのプロービングを通じて、多タスク学習（MTL）は単一タスク学習に比べて性能が劣ることを示しており、これはこれらの「幹細胞」ヘッドがタスク固有の熟練度を失い、全タスクの性能が低下するためである。

ABSTRACT

Multi-task learning with transformer encoders (MTL) has emerged as a powerful technique to improve performance on closely-related tasks for both accuracy and efficiency while a question still remains whether or not it would perform as well on tasks that are distinct in nature. We first present MTL results on five NLP tasks, POS, NER, DEP, CON, and SRL, and depict its deficiency over single-task learning. We then conduct an extensive pruning analysis to show that a certain set of attention heads get claimed by most tasks during MTL, who interfere with one another to fine-tune those heads for their own objectives. Based on this finding, we propose the Stem Cell Hypothesis to reveal the existence of attention heads naturally talented for many tasks that cannot be jointly trained to create adequate embeddings for all of those tasks. Finally, we design novel parameter-free probes to justify our hypothesis and demonstrate how attention heads are transformed across the five tasks during MTL through label analysis.

研究の動機と目的

• 共有トランスフォーマー・エンコーダーを用いた多タスク学習（MTL）が、多様なコアNLPタスクにおいて単一タスク学習に比べて性能が劣る理由を調査すること。
• アテンションヘッドがタスク間で共有されているかどうか、およびその微調整ダイナミクスが性能に与える影響を特定すること。
• アテンションヘッドの競合と干渉を要因として、MTLの失敗の背後にある原因を説明すること。
• 「幹細胞」としてのアテンションヘッドの存在を検証すること——本質的に複数のタスクに優れているが、共同学習では機能が低下する。
• パラメータフリーのプロービング手法を設計・適用し、単一タスクおよび多タスク設定におけるアテンションヘッドの挙動を分析すること。

提案手法

• 共有BERTベースのエンコーダーを用いて、5つのコアNLPタスク（POS, NER, DEP, CON, SRL）で多タスク学習（MTL）を実施した。
• 各タスクに不可欠なアテンションヘッドを特定するため、広範な構造的pruningを実施し、タスク間で高い類似性が確認された。
• 「幹細胞仮説」を提唱：特定のアテンションヘッドは本質的に多タスク対応が可能であるが、矛盾する勾配のため共同微調整下で性能が低下する。
• 追加パラメータが不要な新しいパラメータフリーのプローブを設計し、タスク間でのアテンションヘッドの性能と変換を評価した。
• 動的および静的pruningを用いて、単一タスクおよび多タスク設定におけるヘッド利用度とパフォーマンスのトレードオフを測定した。
• RGBエンコードされた実行集約を用いて、レイヤーおよびタスクごとのアテンションヘッド利用度を可視化し、ヘッド割り当てパターンを追跡した。

実験結果

リサーチクエスチョン

• RQ1 共有トランスフォーマー・エンコーダーを用いた多タスク学習が、多様なNLPタスクにおいて単一タスク学習よりも性能が劣る理由は何か？
• RQ2 アテンションヘッドはどの程度異なるNLPタスク間で共有されており、その共有がモデル性能にどのように影響するか？
• RQ3 特定のアテンションヘッドが本質的に多タスク対応能力を持つとすれば、なぜ共同学習では失敗するのか？
• RQ4 単一タスクと多タスク微調整の間で、プロービング結果およびヘッド利用度のパターンにどのような違いがあるか？
• RQ5 パラメータフリーのプロービング手法は、MTLにおけるアテンションヘッドの挙動と劣化を効果的に明らかにできるか？

主な発見

• 5つのタスクすべて（MTL-5）における多タスク学習は、一貫して単一タスク学習を下回り、特にSRLで最も低い性能（83.56% vs. 83.52%）を示した。
• 5つのタスクがほぼ同一のアテンションヘッド集合に依存しており、共同学習時には競合と干渉が生じる。
• パラメータフリーのプロービングにより、どのタスクに対しても微調整されていないヘッドでさえ、言語的構造に対して高い性能を示すことが確認され、自然に優れた「幹細胞」ヘッドの存在が裏付けられた。
• 単一タスク学習後、プロービング精度はタスク性能と連動して向上し、幹細胞ヘッドがタスク固有の専門家に進化することが示された。
• 多タスク学習では、プロービング性能とタスク性能の両方が顕著に低下し、矛盾する信号がヘッドの熟練度を損なうという仮説が裏付けられた。
• ヘッド利用度分析により、MTL-DPモデルは単一タスクモデルよりも高い割合のヘッド（例：BERTでは53.47%）を使用していることが判明し、競合の増加と非効率な割り当てが示された。