[論文レビュー] SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models

Bin Wang, C.‐C. Jay Kuo|arXiv (Cornell University)|Feb 16, 2020

Topic Modeling参考文献 50被引用数 14

ひとこと要約

SBERT-WK は、BERTベースのモデルの複数の層にわたる語の表現の部分空間の幾何的解析を用いて、情報を多く含む語の表現を抽出・統合する、新しい文埋め込み手法を提案する。追加の訓練を必要とせず、層ごとのパターンと顕著な語の表現を活用することで、意味的テキスト類似度および下流NLPタスクで最先端の性能を達成し、SBERT や BERT などの既存手法を上回る。

ABSTRACT

Sentence embedding is an important research topic in natural language processing (NLP) since it can transfer knowledge to downstream tasks. Meanwhile, a contextualized word representation, called BERT, achieves the state-of-the-art performance in quite a few NLP tasks. Yet, it is an open problem to generate a high quality sentence representation from BERT-based word models. It was shown in previous study that different layers of BERT capture different linguistic properties. This allows us to fusion information across layers to find better sentence representation. In this work, we study the layer-wise pattern of the word representation of deep contextualized models. Then, we propose a new sentence embedding method by dissecting BERT-based word models through geometric analysis of the space spanned by the word representation. It is called the SBERT-WK method. No further training is required in SBERT-WK. We evaluate SBERT-WK on semantic textual similarity and downstream supervised tasks. Furthermore, ten sentence-level probing tasks are presented for detailed linguistic analysis. Experiments show that SBERT-WK achieves the state-of-the-art performance. Our codes are publicly available.

研究の動機と目的

• 事前学習済みのBERTベースモデルから高品質な文表現を生成するという未解決の問題に取り組む。
• BERT などの深層文脈的モデルにおける語表現が層を跨いでどのように変化するかを調査する。
• 訓練を必要とせず、多層情報を効果的に統合する文埋め込み手法を開発する。
• 提案手法の言語的解釈可能性および意味的類似度と下流NLPタスクにおける性能を評価する。

提案手法

• 本手法は、特異値分解（SVD）およびQR分解を用いて、BERTの各層における語表現空間の幾何的構造を分析する。
• 表現の変動を測定することで顕著な語表現を同定し、変動が大きいほどより情報量の多い語であると判断する。
• ウィンドウベースの集約戦略により、指定された層の範囲からの表現を統合し、デフォルトのウィンドウサイズは m=2、開始層は l_S=4 である。
• 最終的な文埋め込みは、選択された語表現の重み付き平均として計算され、重みは部分空間の幾何的構造から導出される。
• 本手法は RoBERTa を含むさまざまな BERTベースのモデルと互換性があり、追加のファインチューニングを必要としない。
• 2段階のプロセスを用いる：まず、部分空間解析により情報量の多い層と語を同定し、次に、堅牢な集約手法により選択された表現を統合する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースのモデルにおける語表現は層を跨いでどのように変化するのか。また、言語的有用性と相関するパターンは何か。
• RQ2 語表現が張る部分空間の幾何的解析により、文埋め込みの質を向上させられるか。
• RQ3 層の選択とウィンドウサイズの選定が、下流タスクにおける文埋め込みの性能にどのように影響するか。
• RQ4 訓練を要しない手法が、意味的テキスト類似度および下流NLPタスクにおいて、ファインチューニングを施した文埋め込みモデル（例：SBERT）を上回れるか。
• RQ5 プローブタスクを通じて、SBERT-WK が生成する文表現にどのような言語的性質がエンコードされているか。

主な発見

• STS-Bベンチマークでは、ピアソン相関係数 74.21 を達成し、SBERT（73.14）およびBERTベースのベースラインを上回った。
• SICK-E データセットでは、テスト精度が 91.67% に達し、次に優れたベースラインを 1.5 パcentageポイント以上上回った。
• ハイパーパrameterの選択に対して頑健である：ウィンドウサイズ（m=1 から 4）や開始層の選択（l_S=0 から 6）の変更に対しても、性能は安定している。
• SBERT-WK の推論時間は、CPU上で BERT よりもわずかに 5% 長いが、1サンプルあたり合計 179.27ms であり、計算的にも効率的である。
• 文単位のプローブタスクにより、SBERT-WK が構文、意味、形態的性質といった多様な言語的性質を捉えていることが確認された。
• 幾何的解析により、層を跨いで表現の変動が大きい語がより情報量が多く、本手法の核心的仮定が裏付けられた。