[論文レビュー] An Empirical Study on Post-processing Methods for Word Embeddings

Shuai Tang, Mahta Mousavi+1 more|arXiv (Cornell University)|May 27, 2019

Topic Modeling参考文献 39被引用数 8

ひとこと要約

本稿では、語彙埋め込みの後処理のための新規手法を提案する。この手法は、語彙埋め込みのグラム行列に対するス hrinkage推定を、中央化カーネル整合性（CKA）を用いた半リーマン多様体上で、スケーリングされた単位行列へと定式化する。log-CKAから導出された下界を最適化することで、手動による主成分の選定に依存せず、最適なス hrinkageパラメータを自動的に決定する。その結果、語彙および文の類似度タスクで、特にデータが少ない状況下でも、従来手法を上回る性能向上が達成される。

ABSTRACT

Word embeddings learnt from large corpora have been adopted in various applications in natural language processing and served as the general input representations to learning systems. Recently, a series of post-processing methods have been proposed to boost the performance of word embeddings on similarity comparison and analogy retrieval tasks, and some have been adapted to compose sentence representations. The general hypothesis behind these methods is that by enforcing the embedding space to be more isotropic, the similarity between words can be better expressed. We view these methods as an approach to shrink the covariance/gram matrix, which is estimated by learning word vectors, towards a scaled identity matrix. By optimising an objective in the semi-Riemannian manifold with Centralised Kernel Alignment (CKA), we are able to search for the optimal shrinkage parameter, and provide a post-processing method to smooth the spectrum of learnt word vectors which yields improved performance on downstream tasks.

研究の動機と目的

• 類似度およびアナロジー性能の向上を目的とした、原理的かつ自動的な語彙埋め込みの後処理手法の欠如を是正すること。
• 既存の後処理手法を、等方的構造へと向かう潜在的なグラム行列のス hrinkage推定として再定式化すること。
• 経験的ヒューリスティクス（例：上位主成分の除去）に依存せず、データ駆動型で最適化に基づくアプローチにより、最適なス hrinkageパラメータを決定すること。
• 半リーマン幾何学とCKAベースの類似度指標を活用することで、低データ環境下でも耐性性と性能を向上させること。
• 特にユークリッド空間の仮定が成り立たない分野にも適用可能な汎用的なフレームワークを提供すること。

提案手法

• 後処理をス hrinkage推定として定式化：事前学習済み語彙ベクトルから推定されたグラム行列と、スケーリングされた単位行列（目的）を混合パrameter β で結合する。
• 結合行列とオラクルグラム行列の類似度測定に、回転および等方的スケーリングに対して不変な中央化カーネル整合性（CKA）を用いる。
• CKAの対数の下界（式2）を導出し、最適化の目的関数として用いる。
• 下界の2階微分を最適化することで、最適なス hrinkageパラメータ β⋆ を特定し、スペクトルの滑らかさを確保する。
• 正定値行列の半リーマン多様体上で最適化を実行することで、グラム行列の幾何的構造を尊重する。
• スキップグラム、CBOW、GloVeの語彙埋め込みにこの手法を適用し、語彙および文の類似度ベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 語彙埋め込みの後処理を、等方的構造へ向かうグラム行列のス hrinkage推定として体系的に定式化できるか？
• RQ2 半リーマン多様体上でCKAベースの類似度を用いてス hrinkageパラメータを最適化することで、上位PC除去などのヒューリスティクス手法よりも優れた性能が得られるか？
• RQ3 本手法は、従来のス hrinkageおよび後処理ベースラインと比較して、データが限られた状況下でも優れた性能を示すか？
• RQ4 log-CKAの下界が、実際の最適ス hrinkageパラメータβ⋆ を特定する信頼できる代理指標として有効か？
• RQ5 本手法は、異なる事前学習アルゴリズム（例：スキップグラム、CBOW、GloVe）および埋め込み次元数に一般化可能か？

主な発見

• 提案手法は、スキップグラムおよびCBOW語彙埋め込みにおいて、一貫性があり安定した性能向上を達成し、上位PC除去およびLedoit-Wolfス hrinkageを上回る。
• GloVe埋め込みでは、上位PC除去よりわずかに劣るが、自動的なパラメータ選択を考慮すれば有意義な改善を示す。
• 限定的な学習データ下では、語彙類似度タスクにおいて、両比較手法を著しく上回り、データ不足に対する耐性を示す。
• 埋め込み次元数（200–600）の変動に対しても性能が安定しており、スケーラビリティと一般化能力を示す。
• 下界目的関数の2階微分が、最適ス hrinkageパラメータβ⋆ を効果的に同定でき、理論的導出の妥当性を裏付ける。
• 主成分の手動選択を回避し、ヒューリスティクスに依存しない原理的代替手法を提供する。