[論文レビュー] Deepening Hidden Representations from Pre-trained Language Models

Junjie Yang, Hai Zhao|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、中間のTransformer層からの補完的表現と最終層出力の融合を通じて事前学習言語モデルを強化する動的メカニズムであるHIdden Representation Extractor（HIRE）を提案する。RoBERTaをバックボーンとして用い、GLUEタスク全体で性能向上を達成し、SST-2で最先端の結果を記録。また、タスクおよび入力固有のニーズに基づいて隠れ状態を適応的に重み付けすることで、9つのタスクのうち5つでベースラインを上回った。

ABSTRACT

Transformer-based pre-trained language models have proven to be effective for learning contextualized language representation. However, current approaches only take advantage of the output of the encoder's final layer when fine-tuning the downstream tasks. We argue that only taking single layer's output restricts the power of pre-trained representation. Thus we deepen the representation learned by the model by fusing the hidden representation in terms of an explicit HIdden Representation Extractor (HIRE), which automatically absorbs the complementary representation with respect to the output from the final layer. Utilizing RoBERTa as the backbone encoder, our proposed improvement over the pre-trained models is shown effective on multiple natural language understanding tasks and help our model rival with the state-of-the-art models on the GLUE benchmark.

研究の動機と目的

• 微調整済みの事前学習言語モデルが最終層出力にのみ依存するという制限を解消すること。
• 中間層に最終層が捉えていない補足的情報が含まれるかどうかを調査すること。
• 多層表現を統合する動的で適応的なメカニズムを設計し、文脈に応じた言語表現を向上させること。
• 提案手法がバックボーンモデルのアーキテクチャや事前学習を変更せずに、多様な自然言語理解タスクで性能向上を達成することを検証すること。
• 層ごとの表現の重要度が、層、タスク、個々の例によってどのように変化するかを分析すること。

提案手法

• HIREは、最終層を除くすべての隠れ層から補完的表現を抽出する学習可能なネットワークである。
• この手法は、入力およびタスクの文脈に基づいて各隠れ層に適応的な重みを割り当てる動的重み付けスコアリング機構を用いる。
• 融合ネットワークは、ゲート付き再帰ユニット（GRU）アーキテクチャを用いて、最終層の出力とHIREが抽出した表現を統合する。
• 重要度スコアは、すべての中間層からの寄与を集約する微分可能でソフトなアテンション機構により計算される。
• モデルは、元のRoBERTaと同一の目的関数でエンドツーエンドに訓練され、バックボーンの事前学習およびアーキテクチャを保持する。
• 融合プロセスは、元のモデル構造を変更せずに、下流タスクヘッドに洗練された表現を統合する。

実験結果

リサーチクエスチョン

• RQ1 事前学習されたTransformerモデルの中間層は、最終層が捉えていない補足的情報を提供できるか？
• RQ2 各隠れ層の寄与度は、異なるNLUタスクおよび個々の入力例によってどのように変化するか？
• RQ3 固定または単一層の統合と比較して、多層表現を統合する動的で適応的なメカニズムは、下流タスクの性能向上に寄与するか？
• RQ4 提案されたHIREコンponentは、バックボーンモデルの再訓練なしに、多様なGLUEベンチマークタスクで性能向上を達成できるか？
• RQ5 性能と複雑さのバランスを考慮した場合、融合ネットワークにおけるGRU層の最適数は何か？

主な発見

• HIREはGLUEベンチマークの9つのタスクのうち5つで性能向上を達成し、特にSST-2のセンチメント分類タスクで最も顕著な向上を示した。
• SST-2データセットでは最先端の結果を記録し、ベースラインのRoBERTaモデルを上回った。
• 動的重み付けスコアリング機構は、平均値やランダム重み付けといった固定戦略を上回り、適応性の価値を示した。
• アブレーションスタディの結果、CoLAタスクにおいて2層のGRUを使用した場合が最良の性能を示し、69.7のMatthews相関係数を達成した。
• 層の重要度分布はタスクによって顕著に異なり、単一文および類似度タスクでは中層および下層が主に寄与したが、STS-BおよびRTEではすべての層がほぼ均等に寄与した。
• 可視化により、HIREがタスクだけでなく個々の例に対しても適応することが確認され、SST-2では層21および22が最も影響力が高いという一貫したパターンが観察された。