[論文レビュー] VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction

Dan Li, Yang Yang+5 more|arXiv (Cornell University)|Dec 8, 2021

Topic Modeling被引用数 5

ひとこと要約

本論文では、トレーニング中にインタラクションベースのモデルから注目知識を蒸留することで、表現ベースのテキストマッチングモデルの性能を向上させる仮想的相互作用メカニズムVIRTを提案する。この手法により、推論時のコストを伴わずに深層クロスアテンション学習が可能になる。本手法は6つのベンチマークで最先端の性能を達成しながら、推論時に蒸留を削除することで効率性を維持する。

ABSTRACT

With the booming of pre-trained transformers, representation-based models based on Siamese transformer encoders have become mainstream techniques for efficient text matching. However, these models suffer from severe performance degradation due to the lack of interaction between the text pair, compared with interaction-based models. Prior arts attempt to address this through performing extra interaction for Siamese encoded representations, while the interaction during encoding is still ignored. To remedy this, we propose a extit{Virtual} InteRacTion mechanism (VIRT) to transfer interactive knowledge from interaction-based models into Siamese encoders through attention map distillation. As a train-time-only component, VIRT could completely maintain the high efficiency of the Siamese structure and brings no extra computation cost during inference. To fully utilize the learned interactive knowledge, we further design a VIRT-adapted interaction strategy. Experimental results on multiple text matching datasets demonstrate that our method outperforms state-of-the-art representation-based models. What's more, VIRT can be easily integrated into existing representation-based methods to achieve further improvements.

研究の動機と目的

• 表現ベースのモデルと強力なインタラクションベースのモデルの間の性能格差を是正すること。
• 表現ベースのモデルが完全なインタラクションを伴わずにクロスアテンション相互作用を学習できるようにすること。
• インタラクションに敏感な表現を、インタラクションベースの教師モデルからシアンプルエンコーダーに移す知識蒸留メカニズムを設計すること。
• 学習済みのインタラクション知識をさらに活用するための軽量なVIRT適合型インタラクション層を構築すること。

提案手法

• トレーニング中に、インタラクションベースの教師モデルから表現ベースの学生モデルのシアンプルエンコーダーへの注目マップの知識蒸留モジュールを導入する。
• 教師モデルと学生モデルの間の注目マップの整合性に基づく蒸留損失を用いる。式7で定義され、ハイパーパrameter α を用いる。
• 推論時に蒸留モジュールを削除することで、二重エンコーダーの効率性を保つ。
• シアンプルエンコーディング後に符号化された表現を統合する、VIRT適合型インタラクション層を設計する。学習済みのインタラクション知識を活用する。
• タスク固有の損失と蒸留損失の両方をバランスさせるハイパーパrameter α を用いて、学生モデルを訓練する。
• 複数のテキストマッチングタスクにわたり、さまざまな事前学習済みBERTバージョン（TinyからLargeまで）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 インタラクションベースのモデルからの知識蒸留が、表現ベースのテキストマッチングモデルの性能を効果的に向上させることができるか？
• RQ2 注目マップの蒸留による仮想的相互作用により、完全なインタラクションを伴わずにシアンプルエンコーダーが意味のあるクロスアテンションパターンを学習できるか？
• RQ3 VIRT適合型インタラクション層は、標準的な後段のインタラクションモジュールと比較して、性能をどのように向上させるか？
• RQ4 性能向上は、さまざまなモデルサイズやテキストマッチングベンチマークにおいて、どの程度堅牢か？
• RQ5 VIRTは、既存の表現ベースのモデルを強化するためのプラグインとして使用可能か？

主な発見

• VIRTは6つのテキストマッチングベンチマークで最先端の性能を達成し、既存の表現ベースのモデルを上回る。
• MNLIデータセットでは、VIRT-BERT-Largeが79.3の精度を達成し、ベースラインから+15.4の向上を示した。
• モデルサイズの変化（BERT-TinyからBERT-Largeまで）にかかわらず一貫した性能向上を示し、スコアの向上幅は+10.3〜+15.4ポイントの範囲であった。
• アブレーションスタディの結果、蒸留モジュールとVIRT適合型インタラクション層の両方が最適な性能を発揮するために不可欠であることが確認された。
• 可視化の結果、VIRTで蒸留されたモデルが、『peaceful』と『peace』を一致させるなど、インタラクションベースの教師モデルに近い注目パターンを学習していることが示された。
• ハイパーパrameter α に対して本手法は頑健であり、最適な性能は α=1 で得られ、広い範囲の値で安定した性能を示した。