[論文レビュー] Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment

Piotr Bojanowski, Onur Çelebi+3 more|arXiv (Cornell University)|Oct 14, 2019

Topic Modeling参考文献 11被引用数 8

ひとこと要約

本稿では、RCSLS基準を用いたアライメントとアライメント済みモデルの平均化により、言語分布がシフトした新しい小規模コーパスに、事前学習済み単語ベクトルおよびテキスト分類器をシンプルかつ効率的に適応する手法を提案する。このアプローチは微調整を上回り、複数モデルを保存する必要がないものの、アンサンブルの性能に匹敵する。

ABSTRACT

In this paper, we focus on the problem of adapting word vector-based models to new textual data. Given a model pre-trained on large reference data, how can we adapt it to a smaller piece of data with a slightly different language distribution? We frame the adaptation problem as a monolingual word vector alignment problem, and simply average models after alignment. We align vectors using the RCSLS criterion. Our formulation results in a simple and efficient algorithm that allows adapting general-purpose models to changing word distributions. In our evaluation, we consider applications to word embedding and text classification models. We show that the proposed approach yields good performance in all setups and outperforms a baseline consisting in fine-tuning the model on new data.

研究の動機と目的

• 一般向け事前学習済みNLPモデルを、言語分布が異なる新しいデータに適応する課題に対処すること。
• 微調整の限界、例えば元の事前学習データからの統計の損失やベクトルの不完全な更新を克服すること。
• 元の学習データを再び保存せず、または再学習せずにモデル適応を可能にすること。
• 事前学習済みモデルと新データ固有のモデルをベクトルアライメントと平均化により組み合わせる、軽量でデータ効率の良い手法を検討すること。

提案手法

• 本手法は、RCSLS（相互一貫性のあるソフトラベル付け）基準を用いて、線形変換行列Qを学習する単語ベクトルのアライメント問題としてモデル適応を定式化する。
• コーパスS₁の小規模なターゲットコーパス上で新しいモデルを学習し、単語ベクトルYを取得する一方で、コーパスS₀からの事前学習済みモデルのベクトルXを保持する。
• 最終的な単語ベクトルZは、アライメント済みのXQとYベクトルの平均値として計算され、V₀∖V₁、V₀∩V₁、V₁∖V₀の各単語集合に対して別々の式が使用される。
• 新データの信頼性を制御するために、重み付き平均(1−α)XQ + αYが用いられ、α ∈ [0,1]である。
• 本手法は単語埋め込みおよびテキスト分類器の両方へ適用可能であり、線形分類器には低ランクパラメータ化が用いられる。
• 本手法は元の学習データを保存する必要がなく、事前学習済みモデルと新データのみを保持することで、効率的なモデル更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再学習を伴わず、言語分布が異なる新しいコーパスに、事前学習済み単語ベクトルを効果的に適応できるか？
• RQ2 RCSLSを用いて、事前学習済みモデルと新データ固有モデルの単語ベクトルをアライメントすることで、微調整よりも優れた性能が得られるか？
• RQ3 本手法は、複数モデルを保存する必要がないものの、アンサンブルと同等の性能を達成できるか？
• RQ4 本手法は、元のコーパスに存在しないレア語や新語を含む語彙のシフトをどのように処理するか？

主な発見

• 提案手法RCSLS+Fine-tuneは、Sogou、Amazon、Yelpのすべてのデータセットでアンサンブル（Voteベースライン）と同等の性能を達成した。
• 3,000件のサンプルを持つSogouデータセットでは、92.0%の精度に達し、Voteベースラインと同等であり、微調整（91.5%）と単一分割学習（91.4%）を上回った。
• Yelpの全データセットでは、64.0%の精度を達成し、Voteベースライン（63.9%）に非常に近い結果を得ており、微調整（62.9%）を上回った。
• S₀∪S₁における単一分割学習と統合学習の性能差を、特に小規模データセット（3,000件および30,000件）で縮小した。
• 本手法は、語彙のシフトや分布の変化に対して強い性能を維持しており、すべてのテストセットで一貫性のある結果を示した。
• 本手法は、元の学習データを保存せず、効率的なモデル更新を可能にし、顕著な計算的利点を提供する。