[論文レビュー] A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference

Shuang Li, Xuming Hu+4 more|arXiv (Cornell University)|May 31, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、低リソース自然言語推論（NLI）のための多段階的教師付き対照学習フレームワークであるMultiSCLを提案する。本フレームワークは文レベルおよびペアレベルの対照的最適化を統合することで、判別性の高い表現学習を向上させる。データ拡張とクロスアテンションモジュールを活用した共同表現学習により、MultiSCLは低リソースNLIベンチマークで先行手法よりも平均3.1%の精度向上を達成し、ドメイン間適応タスクでは最先端モデルを平均8.5%上回る性能を示した。

ABSTRACT

Natural Language Inference (NLI) is a growingly essential task in natural language understanding, which requires inferring the relationship between the sentence pairs (premise and hypothesis). Recently, low-resource natural language inference has gained increasing attention, due to significant savings in manual annotation costs and a better fit with real-world scenarios. Existing works fail to characterize discriminative representations between different classes with limited training data, which may cause faults in label prediction. Here we propose a multi-level supervised contrastive learning framework named MultiSCL for low-resource natural language inference. MultiSCL leverages a sentence-level and pair-level contrastive learning objective to discriminate between different classes of sentence pairs by bringing those in one class together and pushing away those in different classes. MultiSCL adopts a data augmentation module that generates different views for input samples to better learn the latent representation. The pair-level representation is obtained from a cross attention module. We conduct extensive experiments on two public NLI datasets in low-resource settings, and the accuracy of MultiSCL exceeds other models by 3.1% on average. Moreover, our method outperforms the previous state-of-the-art method on cross-domain tasks of text classification.

研究の動機と目的

• 低リソース環境における判別性の高い表現学習を向上させることで、自然言語推論におけるラベル付きデータの制限という課題に対処すること。
• 小規模データ環境下で対照信号が不十分なため、既存モデルが異なるNLIクラスを区別できないという問題を克服すること。
• 文レベルおよびペアレベルの対照的学習目的を統合することで、意味的表現学習を強化すること。
• 多段階の対照信号を用いてより強固で不変な表現を学習することで、ゼロショットドメイン一般化を向上させること。
• 低リソースNLI状況下におけるデータ拡張および構成要因のアブレーション効果を評価すること。

提案手法

• MultiSCLは、入力文の複数のビューを生成するデータ拡張モジュールを採用し、低リソース環境下でのロバストネスを向上させる。
• 前提文に対して帰結仮説と矛盾仮説をそれぞれ正例集合および負例集合として扱い、文レベルの対照的学習を実施する。
• 文のペア間の相互関係を捉えるために、クロスアテンション機構を用いて共同表現を学習する。
• ペアレベルの対照的学習により、同じNLIクラス（帰結、矛盾、中立）に属する文のペアの埋め込みを引き寄せ、異なるクラスに属するペアの埋め込みを引き離す。
• 文レベルおよびペアレベルの両方の対照的最適化目的を統合することで、表現の判別性を向上させる。
• 埋め込み空間内でのクラス内凝集性とクラス間分離性を促進するように、教師付き対照損失を用いてファインチューニングを行う。

Figure 1: The overall view of MultiSCL. The left part is the main framework of our model. The right part is the detailed structure of Cross Attention module.

実験結果

リサーチクエスチョン

• RQ1 多段階の対照的学習は、低リソース自然言語推論における表現学習を改善できるか？
• RQ2 文レベルおよびペアレベルの対照的学習を統合することで、データが少ない環境下でのモデル一般化性能はどのように向上するか？
• RQ3 データ拡張は、低リソースNLIにおけるロバストネスと性能向上にどの程度寄与するか？
• RQ4 MultiSCLは多様なNLIデータセット間でゼロショットドメイン適応にどの程度効果的か？
• RQ5 各構成要素（文レベル、ペアレベル、データ拡張）の性能向上に果たす寄与度はどの程度か？

主な発見

• MultiSCLは、2つの公開データセットを対象とした低リソースNLIベンチマークで、先行する最先端手法よりも平均3.1%の精度向上を達成した。
• ドメイン適応タスクにおける6つの設定において、MultiSCLはドメイン間テキスト分類タスクで平均8.5%の性能向上を達成し、既存モデルを上回った。
• SciTailからSNLIおよびMNLIへのドメイン適応において、MultiSCLはそれぞれ49.2%および51.4%の精度を達成し、前回の最先端手法をそれぞれ10.1%および10.4%上回った。
• モデルは特に文レベルおよびペアレベルの対照信号の共同最適化のおかげで、強いゼロショット転送性能を示した。
• アブレーションスタディの結果、文レベルおよびペアレベルの対照的学習が性能向上に顕著な寄与をしていることが確認され、データ拡張によりさらにロバストネスが向上した。
• SciTailのような異なるドメインにおいても優れた性能を示しており、強力なドメイン不変表現学習が実現されていることが示された。

Figure 2: Visualization of the SNLI representations using t-SNE for MultiSCL (left) and MultiSCL w/o Cross Attention Module (right).