[論文レビュー] Symmetric Regularization based BERT for Pair-wise Semantic Reasoning

Weidi Xu, Xingyi Cheng+8 more|arXiv (Cornell University)|Sep 8, 2019

Topic Modeling参考文献 24被引用数 6

ひとこと要約

この論文は、次なる文予測（NSP）タスクを、前の文予測（PSP）ヘッドを含む3クラス分類問題に拡張することで、BERTの対比較的意味的推論を強化する対称正則化手法SymBERTを提案する。NSPとPSPの間で対称性を強制することで、モデルはよりロバストで順序に依存しない表現を学習し、NLIおよびMRCベンチマークで一貫した向上を示す。HANSではSOTA性能を達成し、中国語NLPタスクでも競争力のある結果を示す。

ABSTRACT

The ability of semantic reasoning over the sentence pair is essential for many natural language understanding tasks, e.g., natural language inference and machine reading comprehension. A recent significant improvement in these tasks comes from BERT. As reported, the next sentence prediction (NSP) in BERT, which learns the contextual relationship between two sentences, is of great significance for downstream problems with sentence-pair input. Despite the effectiveness of NSP, we suggest that NSP still lacks the essential signal to distinguish between entailment and shallow correlation. To remedy this, we propose to augment the NSP task to a 3-class categorization task, which includes a category for previous sentence prediction (PSP). The involvement of PSP encourages the model to focus on the informative semantics to determine the sentence order, thereby improves the ability of semantic understanding. This simple modification yields remarkable improvement against vanilla BERT. To further incorporate the document-level information, the scope of NSP and PSP is expanded into a broader range, i.e., NSP and PSP also include close but nonsuccessive sentences, the noise of which is mitigated by the label-smoothing technique. Both qualitative and quantitative experimental results demonstrate the effectiveness of the proposed method. Our method consistently improves the performance on the NLI and MRC benchmarks, including the challenging HANS dataset \cite{hans}, suggesting that the document-level task is still promising for the pre-training.

研究の動機と目的

• 文のペアにおける意味的含意と浅い相関の区別ができないBERTのNSPタスクの限界を解消すること。
• 文の順序に敏感なBERTの問題を、対称的な学習信号を導入することで軽減すること。
• NSPとPSPを非連続な文ペアにまで拡張することで、文書レベルの表現学習を向上させること。
• 対称正則化の有効性を英語および中国語の意味的推論ベンチマークで評価すること。
• 単純なアーキテクチャの変更が、モデルサイズや学習データの増加なしに顕著な向上をもたらすことを示すこと。

提案手法

• IsNext（NSP）、IsPrev（PSP）、およびネガティブクラスを含む3クラス分類ヘッドを提案し、IsPrevをIsNextの対称的対応と定義する。
• モデルに、ある文が文書内で次の文か前の文かを予測させるように訓練し、より深い意味的関係を学習させる。
• NSPとPSPの範囲を直近の文ペアに限らず、非連続な文ペアにも拡張することで、文書レベルの文脈を豊かにする。
• 遠く離れた文ペアからのノイズを軽減するため、ラベルスムージングを適用する。
• 同じBERT-baseアーキテクチャを用いながら、対称的な監視信号を含む学習目的に変更する。
• 単語言語および多言語コーパス（中国語テキストを含む）でモデルを事前学習し、下流のNLIおよびMRCタスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 対称的予測ヘッド（PSP）を導入することで、BERTの文のペアにおける含意と相関の区別能力が向上するか？
• RQ2 対称正則化により、下流タスクにおける文の順序への感受性が低下するか？
• RQ3 NSPとPSPを非連続な文ペアにまで拡張することで、ノイズを加えずに文書レベルの理解が向上するか？
• RQ4 HANSのような、ヒューリスティックなショートカットをテストする挑戦的なベンチマークで、提案手法はどの程度の性能を示すか？
• RQ5 中国語NLPタスクのような低リソースまたは多言語環境において、この手法はどの程度一般化可能か？

主な発見

• 提案されたSymBERTモデルは、ヴァナイルBERTに比べてQNLIベンチマークで3.5%の絶対的向上を達成し、意味的推論能力の向上を示している。
• HANSベンチマークでは、BERTおよび他のベースラインを上回り、ヒューリスティックなパターンへの依存が減少していることが示された。
• 中国語NLPタスクでは、より少ない目的関数と少ない学習データで、CMRC-2018およびDRCDでERNIE 2.0と同等またはそれを上回る結果を達成した。
• ラベルスムージングを適用したモデル（SymBERT-PNsmth）はDRCDで最良の性能（F1: 92.6、EM: 86.6）を示し、ノイズ低減の有効性が裏付けられた。
• この手法は、英語および中国語のベンチマークの両方で一貫して性能向上を示し、一般化能力の妥当性を確認した。
• アブレーションスタディにより、PSPによる対称正則化が性能向上の主因であることが確認され、単に訓練信号の増加によるものではないことが示された。