[論文レビュー] Improving a tf-idf weighted document vector embedding

Craig W. Schmidt|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 8被引用数 12

ひとこと要約

本稿では、コーパスに対する語の頻度差に基づく重み付き単語ベクトルの和を最適化することで、文書埋め込み手法を改善する。逆文書頻度（idf）重み付けと主成分分析（PCA）の後処理を組み合わせた idf-delta-pca 法は、トリバベルのレビューにおいて doc2vec を上回り、CQADupStack においても特に長い文書において競争力がある。PCA は一貫して性能向上をもたらす。

ABSTRACT

We examine a number of methods to compute a dense vector embedding for a document in a corpus, given a set of word vectors such as those from word2vec or GloVe. We describe two methods that can improve upon a simple weighted sum, that are optimal in the sense that they maximizes a particular weighted cosine similarity measure. We consider several weighting functions, including inverse document frequency (idf), smooth inverse frequency (SIF), and the sub-sampling function used in word2vec. We find that idf works best for our applications. We also use common component removal proposed by Arora et al. as a post-process and find it is helpful in most cases. We compare these embeddings variations to the doc2vec embedding on a new evaluation task using TripAdvisor reviews, and also on the CQADupStack benchmark from the literature.

研究の動機と目的

• 単純な単語ベクトルの重み付き和よりも効果的な文書埋め込み手法の開発。
• 文書内語頻度とコーパス語頻度の差に起因する最適化が、意味的類似度に与える影響の調査。
• idf、SIF、およびサブサンプリングといった異なる重み関数が文書埋め込み品質に与える影響の評価。
• 一般的な成分除去（PCA 後処理）が文書ベクトル表現の質を向上させる有効性の評価。
• 実世界のレビューデータおよび標準ベンチマークにおいて、提案手法と doc2vec の比較。

提案手法

• 本手法は、文書内語頻度（tf_i）とコーパス内語頻度（tf_ic）の差、すなわち δ_i = tf_i - tf_ic を重みとして用い、単語ベクトルの重み付き和として文書ベクトルを計算する。
• 最適な文書ベクトル u* は、δ_i * v_i の重み付き和の正規化されたベクトルとして導出され、コーシー＝シュワルツの不等式を用いて単位ノルムかつ最大のコサイン類似度を保証する。
• 3 種類の重み関数を評価：逆文書頻度（idf）、滑らかさを考慮した逆頻度（SIF）、および word2vec のサブサンプリング；その中で idf が最も優れた性能を示した。
• 文書ベクトルから最初の主成分を除去する PCA 後処理を実施し、Arora 他による一般的な成分除去手法に準拠する。
• 本手法は「センター」（固定のコーパス加重平均を用いる）および「デルタ」（文書固有の偏差を用いる）の 2 種類に分けられ、PCA を適用する・しないの両方を検討。
• 本手法は、新規に構築されたトリバベルレビューのベンチマークおよび CQADupStack データセットを用い、重複質問検出のための ROC AUC を指標として評価された。

実験結果

リサーチクエスチョン

• RQ1 文書内語頻度とコーパス語頻度の差を重みとして用いることで、文書ベクトルの質が向上するか？
• RQ2 idf、SIF、サブサンプリングのうち、どの重み関数が文書埋め込みの性能を最も高めるか？
• RQ3 PCA を用いた一般的な成分除去は、文書ベクトル類似度の向上にどの程度有効か？
• RQ4 文書長さは、さまざまな埋め込み戦略の性能にどのように影響するか？
• RQ5 提案手法は、実世界のレビューデータおよび標準ベンチマークにおいて doc2vec を上回るか？

主な発見

• 300 語以上の文書において、idf-delta-pca 法はトリバベルレビューのベンチマークで最高の性能を示し、doc2vec や他のバリエーションを上回った。
• 短い文書（1～9 件のレビュー/場所）では、idf-sum-pca 法が最良であり、1～2 件のレビュー/場所で性能がピークに達した。
• PCA を適用した場合、450 語未満の短い文書に対しては idf-center-pca 法が最適であったが、長文書では idf-delta-pca 法が最良であった。
• PCA 後処理は、和およびデルタ手法において一貫して性能を向上させたが、センター手法では結果が混合した。
• ユニット和ベースライン（重みなし和）は、他のすべての手法よりも著しく性能が低く、適切な重み付けの必要性を裏付けた。
• CQADupStack ベンチマークでは、doc2vec が 4 フォーラムで最良、idf-delta-pca が 5 フォーラム、idf-center-pca が 2 フォーラムで最良となり、多様なフォーラムにおいて強い競争力が示された。