[論文レビュー] HUBERT Untangles BERT to Improve Transfer across NLP Tasks

Mehrad Moradshahi, Hamid Palangi+3 more|arXiv (Cornell University)|Oct 25, 2019

Topic Modeling参考文献 37被引用数 16

ひとこと要約

HUBERTは、テンソル積表現（TPR）を用いてBERTの表現をコンテンツ（フィラー）と構造的役割の成分に分離することで、自然言語処理における転移学習を改善する手法を提案する。意味的コンテンツと文法的役割を分離して学習することで、特にHANSのような困難なNLPベンチマークにおいて顕著な向上を達成し、GLUEタスクではBERTを最大12.28%、非含意ケースでは5.7%上回る性能を発揮した。

ABSTRACT

We introduce HUBERT which combines the structured-representational power of Tensor-Product Representations (TPRs) and BERT, a pre-trained bidirectional Transformer language model. We show that there is shared structure between different NLP datasets that HUBERT, but not BERT, is able to learn and leverage. We validate the effectiveness of our model on the GLUE benchmark and HANS dataset. Our experiment results show that untangling data-specific semantics from general language structure is key for better transfer among NLP tasks.

研究の動機と目的

• 個々のタスクでは優れた性能を示すが、多様なNLPタスク間での表現の転送性が限定的であるBERT表現の課題に対処すること。
• BERTの表現における意味的コンテンツ（フィラー）と構造的役割を分離することで、より汎用的な言語的知識が得られるかどうかを調査すること。
• 役割にエンコードされた構造的知識が、異なるNLPタスクに効果的に転送できるかどうかを評価すること。
• 語彙的一致などの表面的ヒューリスティクスに依存するのを減らすことで、HANSのような診断用NLPベンチマークにおける耐性を高めること。
• TPRに基づく分離が、役割とフィラー表現をタスク間で共有可能にすることで、知識転送を向上させることを実証すること。

提案手法

• HUBERTは、BERTの最終層のトークン埋め込みの上にTPRレイヤーを導入し、各トークンの表現をフィラー埋め込みと役割埋め込みのテンソル積に分解する。
• モデルは、下流NLPタスクでのエンドツーエンド学習を通じて、BERTの混合された表現を分離されたフィラーと役割の成分に分解する。
• TPR機構は、テンソル積演算を用いてフィラーと役割のベクトルを結合し、分散的かつ連続的なベクトル空間に構造的関係を保持する。
• MNLIで事前学習した後、HUBERTの役割とフィラー表現は、QNLI、QQP、RTE、SST、SNLIなどの他のタスクに微調整なしで転送される。
• HANS評価では、MNLIから学習した役割とフィラーのみをHANS診断セットに転送し、HANSデータでの再学習は行わない。
• この手法により、含意ケースの性能を維持しながら、文法的ヒューリスティクスに反する非含意ケースの一般化性能が顕著に向上する。

実験結果

リサーチクエスチョン

• RQ1 TPRを用いてBERTの表現をフィラーと役割の成分に分離することで、多様なNLPタスク間での知識転送が向上するか？
• RQ2 新しいタスクに転送する際、BERTの混合表現よりも役割にエンコードされた構造的知識がより一般化しやすいか？
• RQ3 TPRベースの表現は、語彙的一致のような誤った言語的ヒューリスティクスにどれほど依存しなくなるか？
• RQ4 HANSのような診断ベンチマークにおいて、特に非含意ケースにおいてHUBERTの性能はBERTと比べてどの程度向上するか？
• RQ5 あるタスク（例：MNLI）から得た役割とフィラーのみを別のタスク（例：SNLI）に転送することで、分布外の例に対して性能が向上するか？

主な発見

• 微調整後、HUBERTはGLUEタスク（QNLI、QQP、RTE、SST、SNLI）で0.60%〜12.28%の性能向上を達成したのに対し、BERTは-0.33%〜2.53%の向上にとどまった。
• HANS診断データセットでは、非含意クラスで平均5.7%の向上を示し、表面的ヒューリスティクスへの依存が減少したことが示された。
• SNLIで微調整した後、HUBERTの語彙的非含意ケースの性能は61.62%（6,162例）向上し、役割固有の語彙埋め込みの強力な転送が確認された。
• 部分列および構成要素非含意ケースでは、それぞれ1.44%および5.4%の向上を示し、文法的違反に対する耐性が向上した。
• BERTはSNLIでの微調整後、含意ケースの性能がわずかに向上したが、非含意ケースの性能が著しく低下し、新しい知識の統合が不十分であることが示された。
• HUBERTは含意ケースの性能を維持しながら、非含意ケースの性能を著しく向上させ、効果的な知識転送とヒューリスティクスバイアスの低減を実証した。