[論文レビュー] HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable Hyper Projections

Yi Tay, Zhe Zhao+3 more|arXiv (Cornell University)|Jul 12, 2020

Topic Modeling参考文献 53被引用数 5

ひとこと要約

HyperGridは、変換器における効率的なマルチタスク学習のため、グリッド単位で分割された、分解可能なハイパーネットワークベースの投影層を提案する。これにより、1つのT5モデルがGLUEおよびSuperGLUEベンチマークで個別にファインチューニングされた最先端性能に達する。ローカル・グローバルハイパーネットワークの構成を通じて、タスク固有の領域別重み投影を学習することで、16倍のパラメータ削減を達成しながら、16のタスクすべてで競争力のある精度を維持する。

ABSTRACT

Achieving state-of-the-art performance on natural language understanding tasks typically relies on fine-tuning a fresh model for every task. Consequently, this approach leads to a higher overall parameter cost, along with higher technical maintenance for serving multiple models. Learning a single multi-task model that is able to do well for all the tasks has been a challenging and yet attractive proposition. In this paper, we propose extsc{HyperGrid}, a new approach for highly effective multi-task learning. The proposed approach is based on a decomposable hypernetwork that learns grid-wise projections that help to specialize regions in weight matrices for different tasks. In order to construct the proposed hypernetwork, our method learns the interactions and composition between a global (task-agnostic) state and a local task-specific state. We apply our proposed extsc{HyperGrid} on the current state-of-the-art T5 model, demonstrating strong performance across the GLUE and SuperGLUE benchmarks when using only a single multi-task model. Our method helps bridge the gap between fine-tuning and multi-task learning approaches.

研究の動機と目的

• 各NLUタスクに対して別々のモデルをファインチューニングする場合の高いパラメータコストと保守コストを低減すること。
• 単一タスクのファインチューニングとマルチタスクの共同学習の間のパフォーマンス格差を埋めること。
• タスク固有のファインチューニングテクニックを用いずに、多様なNLUタスクにおいて競争力のある性能を発揮できる1つのモデルを実現すること。
• ハイパーネットワークを用いた構造的でインスタンス固有のパラメータ適応を探索し、マルチタスク一般化を向上させること。

提案手法

• 入力ごとに領域固有のパrameter適応を可能にするために、フィードフォワード層の重みを空間的領域に分割するグリッド単位の投影を導入する。
• 局所的なタスク固有のヘッドとグローバルなタスクに依存しない状態埋め込みを備えた二重ハイパーネットワーク構造を採用し、組み合わせ的なパrameter生成を実現する。
• 局所状態とグローバル状態の間の豊かなペアワイズ相互作用をモデル化するために、分解可能なハイパープロジェクションを用いることで、表現力と要因分解の両方を向上させる。
• T5モデルにHyperGridモジュールを適用し、マルチタスクファインチューニング中に、タスクに応じた適応的投影に標準的なフィードフォワード層を置き換える。
• すべてのGLUEおよびSuperGLUEタスクを同時に学習する1つのマルチタスクモデルを訓練し、タスク固有のハイパーパrameterやアンサンブルを回避する。
• パラメータ化に$32 \times 128$グリッドと、表現力と効率性のバランスを取るためのローカル・グローバル（LG）構成を用いる。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチタスク変換器モデルが、多様なNLUベンチマークで個別にファインチューニングされたモデルと同等の性能を達成できるか？
• RQ2 ハイパーネットワークをどのように構造化すれば、モデルサイズの増加なしに効率的でタスク固有的な適応を可能にできるか？
• RQ3 グリッド単位で領域固有のパラメータ投影を用いることで、標準的な行単位の再重み付けと比較してマルチタスク一般化が向上するか？
• RQ4 分解可能なローカル・グローバルハイパーネットワーク構成は、標準的なハイパーネットワークを上回る性能を発揮するか？

主な発見

• 3BパラメータのHyperGridモデルはSuperGLUEで87.7を達成し、SOTAからわずか1.2%低いが、16倍少ないパラメータを用いている。
• 11BパラメータのHyperGridモデルは、GLUEで176B T5（11B）モデルと同等の性能（89.4 vs. 89.7）を達成している。
• SuperGLUEでは3Bモデルが84.7を記録し、タスク固有のファインチューニングテクニックに依存するRoBERTaアンサンブルと同等の性能を発揮している。
• BERT++ や RoBERTa といった強力なベースライン（アンサンブルやタスク固有戦略を用いる）を、1つのモデルで上回っている。
• GLUEおよびSuperGLUEの全16タスクに対して個別にモデルを訓練する場合と比較し、合計で16倍のパラメータコストを削減している。
• ローカル・グローバルハイパーネットワーク構成により、深刻な忘却や性能低下を伴わずに、効果的なタスク固有の適応が可能になっている。