[論文レビュー] Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks

Hyun‐Jin Choi, Judong Kim+2 more|arXiv (Cornell University)|Jan 26, 2021

Topic Modeling参考文献 29被引用数 11

ひとこと要約

この論文は、下流NLPタスクにおけるBERTおよびALBERTの文埋め込みモデルを評価し、Sentence-ALBERT (SALBERT) とCNNベースの文埋め込みアーキテクチャを提案する。パラメータ数が少ないにもかかわらず、ALBERTベースのモデルは競争力のある性能を示し、STSベンチマークにおいてSpearman順位相関で最大8ポイントの向上を達成した。これはBERTモデルの1ポイントの向上よりも顕著に大きい。

ABSTRACT

Contextualized representations from a pre-trained language model are central to achieve a high performance on downstream NLP task. The pre-trained BERT and A Lite BERT (ALBERT) models can be fine-tuned to give state-ofthe-art results in sentence-pair regressions such as semantic textual similarity (STS) and natural language inference (NLI). Although BERT-based models yield the [CLS] token vector as a reasonable sentence embedding, the search for an optimal sentence embedding scheme remains an active research area in computational linguistics. This paper explores on sentence embedding models for BERT and ALBERT. In particular, we take a modified BERT network with siamese and triplet network structures called Sentence-BERT (SBERT) and replace BERT with ALBERT to create Sentence-ALBERT (SALBERT). We also experiment with an outer CNN sentence-embedding network for SBERT and SALBERT. We evaluate performances of all sentence-embedding models considered using the STS and NLI datasets. The empirical results indicate that our CNN architecture improves ALBERT models substantially more than BERT models for STS benchmark. Despite significantly fewer model parameters, ALBERT sentence embedding is highly competitive to BERT in downstream NLP evaluations.

研究の動機と目的

• 意味的テキスト類似度（STS）や自然言語推論（NLI）などの下流NLPタスクにおけるBERTおよびALBERTの文埋め込みの性能を評価すること。
• パラメータ数が少ないにもかかわらず、ALBERTがBERTと同等の文埋め込み性能を達成できるかどうかを検証すること。
• 特にシアン型ネットワークとCNNを用いた代替的な文埋め込みアーキテクチャが、BERTおよびALBERT上での有効性を調査すること。
• ALBERTのパラメータ共有不安定性を考慮すると、CNNベースのアーキテクチャがALBERTの文埋め込みにBERTよりも顕著に大きな向上をもたらすかどうかを特定すること。
• STSbとNLIの混合訓練データでの微調整が、STSタスク（2012–2016）全体にわたる一般化性能を向上させるかどうかを評価すること。

提案手法

• Sentence-BERT（SBERT）のシアン型およびトリプレットネットワークアーキテクチャにBERTの代わりにALBERTを導入することで、Sentence-ALBERT（SALBERT）を提案する。
• BERTまたはALBERTのトークン埋め込みを処理して固定サイズの文ベクトルを生成するCNNベースの文埋め込みモジュールを導入する。
• 比較のためのベースラインとして、平均プーリングおよび[CLS]トークンプーリングを用いる文埋め込み手法を採用する。
• STSタスクにおける一般化性能を向上させるために、すべてのモデルをSTSbとNLI（MultiNLI/SNLI）の訓練セットを統合して微調整する。
• STSベンチマークスイート（STS12–STS16）における主な評価指標として、Spearman順位相関を用いる。
• モデルアーキテクチャおよび事前学習目的（例：SOP対比NSP）が下流タスクの安定性および正確性に与える影響を分析する。

Figure 1: Siamese network structure used in SBERT and SALBERT

実験結果

リサーチクエスチョン

• RQ1 ALBERTベースの文埋め込みモデルは、STSおよびNLIタスクにおいてBERTベースのモデルと比べてどの程度の性能を示すか？
• RQ2 文埋め込みにCNNベースのアーキテクチャを導入することで、BERTおよびALBERTモデルの性能はどの程度向上するか？
• RQ3 ALBERTの初期性能が低いにもかかわらず、なぜCNNアーキテクチャがALBERTに対してBERTよりも顕著に大きな性能向上をもたらすのか？
• RQ4 STSbとNLIの両方のデータセットで微調整することで、STSb（2012–2016）の複数のタスクにわたる一般化性能が、STSb単体での微調整よりも向上するか？
• RQ5 ALBERTのパラメータ共有メカニズムがもたらす不安定性は、文埋め込み品質にどのような影響を及ぼすか。また、CNNのようなアーキテクチャ的変更によってこれを緩和できるか？

主な発見

• CNNベースの文埋め込みアーキテクチャは、STSベンチマークにおいてALBERTベースのモデルのSpearman順位相関を最大8ポイント向上させる一方、BERTベースのモデルではわずか1ポイントの向上にとどまる。
• パラメータ数が顕著に少ないにもかかわらず、ALBERTベースの文埋め込みは、下流NLPタスクにおいてBERTベースのモデルと競合する性能を示している。
• SALBERT（シアン型アーキテクチャを用いたALBERT）はSBERT（シアン型アーキテクチャを用いたBERT）を下回るが、CNNアーキテクチャを適用することでこのギャップは解消される。
• CNNアーキテクチャは、STS12–STS16の平均でSALBERTの性能を2ポイント向上させるが、BERTベースのモデルにはほとんど影響を与えない。
• STSbとNLIの両方のデータセットで微調整すると、STSbでの性能が最も良くなり、STSb単体またはNLI単体での微調整よりも優れている。
• ALBERTのパラメータ共有による不安定性は、CNNアーキテクチャによって緩和される可能性があり、これがBERTよりも顕著な性能向上を説明している。