[論文レビュー] DABERT: Dual Attention Enhanced BERT for Semantic Matching

Sirui Wang, Di Liang+3 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling被引用数 6

ひとこと要約

DABERTは、文のペア間の類縁性と相違性の両方の特徴を明示的にモデル化するためのデュアルアテンション機構を提案し、デュアルチャネルアテンションモジュールと適応的統合機構を用いる。このモデルは、意味的類似性マッチングタスクでBERTや他のBERTベースのモデルと比較して2%以上の絶対的改善を達成し、微小なテクスト的摂動に対して優れたロバスト性を示す。

ABSTRACT

Transformer-based pre-trained language models such as BERT have achieved remarkable results in Semantic Sentence Matching. However, existing models still suffer from insufficient ability to capture subtle differences. Minor noise like word addition, deletion, and modification of sentences may cause flipped predictions. To alleviate this problem, we propose a novel Dual Attention Enhanced BERT (DABERT) to enhance the ability of BERT to capture fine-grained differences in sentence pairs. DABERT comprises (1) Dual Attention module, which measures soft word matches by introducing a new dual channel alignment mechanism to model affinity and difference attention. (2) Adaptive Fusion module, this module uses attention to learn the aggregation of difference and affinity features, and generates a vector describing the matching details of sentence pairs. We conduct extensive experiments on well-studied semantic matching and robustness test datasets, and the experimental results show the effectiveness of our proposed method.

研究の動機と目的

• BERTが文のペア間の意味的に異なるが文語的に類似したペアを区別できないという限界を解決すること。
• デュアルチャネルアテンション機構を用いて、文のペア間の微細な意味的相違を明示的にモデル化すること。
• アフィニティと相違特徴を組み合わせるソフトで適応的な統合機構を開発し、BERTの事前学習済み表現を損なわないようにすること。
• 語の追加・削除・置換などの微小なテクスト的摂動に対して、モデルのロバスト性を向上させること。
• エンドツーエンドの学習が可能である一方で、標準的な意味的類似性ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• 類縁性（標準的な自己アテンション）と相違性（差分に基づくクロスアテンション）の2つの並列アテンションストリームを用いるデュアルアテンションモジュールを導入し、意味的対比を捉える。
• 差分と類縁性の表現をマルチヘッドアテンション層に埋め込むためのデュアルチャネルインジェクション機構を採用し、異なる意味的信号を保持する。
• クロスアテンションを用いて差分と類縁性特徴を相互に整列させた後、ゲート付き統合を用いて適応的統合を実現する適応的統合モジュールを設計。
• 統合表現をスケーリングするためのフュージョンゲートモジュールを適用し、BERTの事前学習済み表現への干渉を最小限に抑える。
• モデル全体をエンドツーエンドで学習させ、事前学習済みBERTフレームワークに差分モデリングをソフトに統合可能にする。
• アテンション重みの可視化により、モデルが共有語ではなく対照的な語（例：'hardware' 対 'software'）に注目していることを検証。

実験結果

リサーチクエスチョン

• RQ1 BERTのヴァニラ自己アテンションは、文のペア間の微細な意味的相違をより効果的に捉えるためにどのように強化できるか？
• RQ2 事前学習済みモデルのパフォーマンスを低下させずに、類縁性と相違性の表現を最適に統合する方法は何か？
• RQ3 意味的相違の明示的モデリングは、意味的類似性マッチングタスクにおける微小なテクスト的摂動に対してロバスト性を向上させられるか？
• RQ4 標準アテンションと比較して、デュアルチャネルアテンション機構は、微細な意味的対比をどのように効果的に捉えられるか？
• RQ5 ハードまたは固定重み統合戦略と比較して、適応的統合機構はどれほどマッチング精度を向上させるか？

主な発見

• DABERTは、標準BERTと比較して10の公開意味的類似性データセットの平均で2%以上の絶対的改善を達成した。
• 追加データなしで、高度な技術や外部知識を用いた他のBERTベースのモデルでさえも、DABERTは上回った。
• ノイズを注入したロバストネス評価データセット（例：語の入れ替え、削除）では、BERTや他のベースラインと比較してDABERTが著しく高い精度を維持した。
• 事例研究では、DABERTがBERTやSyntax-BERTが失敗する微細な差異（例：'12' 対 '24'）に起因する意味的矛盾を正しく同定した。
• アテンション可視化により、DABERTが対照的な語（例：'hardware' と 'software'）に注目するアテンション重みを高めていることが確認され、効果的な相違モデリングが実現していることが示された。
• 適応的統合機構により、類縁性と相違信号がうまくバランスされ、注入された特徴による表現劣化が低減した。