[論文レビュー] Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors

В. К. Железняк, Aleksandar Savkov+4 more|arXiv (Cornell University)|Apr 30, 2019

Topic Modeling被引用数 24

ひとこと要約

本稿では、ファジィ集合論を用いて文書対の関連する単語ベクトル特徴量を動的に選択・マックスプールする、新しい非パラメトリックな非教師あり類似度測定法であるDynaMaxを提案する。DynaMaxは、すべてのSTSベンチマークでコサイン類似度を用いた平均化単語ベクトルを上回り、コサイン類似度を最適化するように訓練された教師あり手法と同等の性能を発揮する。また、マックスプールドベクトルの類似度測定に、コサイン類似度よりも適切であるとされるファジィJaccard係数を導入している。

ABSTRACT

Recent literature suggests that averaged word vectors followed by simple post-processing outperform many deep learning methods on semantic textual similarity tasks. Furthermore, when averaged word vectors are trained supervised on large corpora of paraphrases, they achieve state-of-the-art results on standard STS benchmarks. Inspired by these insights, we push the limits of word embeddings even further. We propose a novel fuzzy bag-of-words (FBoW) representation for text that contains all the words in the vocabulary simultaneously but with different degrees of membership, which are derived from similarities between word vectors. We show that max-pooled word vectors are only a special case of fuzzy BoW and should be compared via fuzzy Jaccard index rather than cosine similarity. Finally, we propose DynaMax, a completely unsupervised and non-parametric similarity measure that dynamically extracts and max-pools good features depending on the sentence pair. This method is both efficient and easy to implement, yet outperforms current baselines on STS tasks by a large margin and is even competitive with supervised word vectors trained to directly optimise cosine similarity.

研究の動機と目的

• 平均化単語ベクトルの枠を超えて、マックスプールングをより優れた代替手段として探求することで、文脈的類似度（STS）の性能を向上させること。
• ファジィ集合論を用いて、マックスプールド単語ベクトルをファジィバッグオブワード（FBoW）表現の特別なケースとして形式化すること。
• 教師なしで、各文書対に対して高品質な特徴量を動的に抽出・マックスプールする新しい類似度測定法、DynaMaxを導入すること。
• マックスプールドベクトル同士の比較にコサイン類似度を使用することの不適切さを提起し、ファジィJaccard係数をより適切な測定指標として提唱すること。
• BCaブートストラップ信頼区間を用いて、STSベンチマークにおける性能差の厳密な統計的評価を実施すること。

提案手法

• 語彙内の各単語が、その文の単語ベクトルとの類似度に基づいて所属度を有するファジィバッグオブワード（FBoW）表現を提案する。
• マックスプールド単語ベクトルが、最も類似度の高い単語に対してのみ所属度が1、それ以外は0となるFBoWの特別なケースであることを示す。
• ファジィ集合演算を用いて、各文書対に対して関連性の高い特徴量を動的に特定・マックスプールする、教師なし・非パラメトリックな手法DynaMaxを導入する。
• FBoW表現間の類似度測定として、マックスプールドベクトルに対してコサイン類似度よりも適切であると主張し、ファジィJaccard係数を主な測定指標として採用する。
• マックスプールングの前段階でSIF（スムーズ逆頻度）重み付けを単語ベクトルに適用し、性能向上を図る。
• バイアス補正および加速（BCa）ブートストラップ信頼区間を用いて、性能差の非パラメトリックな有意性検定を厳密に実施する。

実験結果

リサーチクエスチョン

• RQ1 ファジィバッグオブワード（FBoW）の特別なケースとして扱われるマックスプールド単語ベクトルは、意味的類似度タスクにおいて平均化単語ベクトルを上回ることができるか？
• RQ2 コサイン類似度よりも、ファジィJaccard係数はマックスプールド単語ベクトルの類似度測定に適しているとされるか？
• RQ3 コサイン類似度を直接最適化するように訓練された教師あり手法と同等の性能を、完全に教師なし・非パラメトリックな手法DynaMaxが達成できるか？
• RQ4 大規模な並列文データセットで訓練された最先端の教師あり単語ベクトルと比較しても、提案手法は競争力を持つのか？
• RQ5 厳密な統計的有意性検定がSTSベンチマーク評価に与える影響は何か？また、従来の研究における一般的な手法と比較して、どのように改善されるか？

主な発見

• DynaMaxは、非教師あり単語ベクトルを用いた場合、すべてのSTSベンチマークタスクでコサイン類似度を用いた平均化単語ベクトルを上回り、STS15では平均ピアソン相関係数73.1を達成した。
• PSL単語ベクトルを用いた場合、DynaMax-SIFはSTS16で平均相関係数73.3を達成し、Aroraら（2017）のavg-SIF+PCA手法を1.4ポイント上回った。
• DynaMaxは、コサイン類似度を最適化するように訓練された教師ありParaNMT埋め込みと同等の性能を発揮したが、DynaMaxは完全に教師なしであり、その目的とは無関係であった。
• ファジィJaccard係数は、マックスプールドベクトルの類似度測定に、コサイン類似度よりも適していることが示された。これは、表現がファジィ集合の性質を持つことに起因する。
• 本研究では、多数の先行STS研究が不適切または明示されていないパラメトリック検定を用いていることが判明した。DynaMaxがBCaブートストラップ区間を用いることで、より信頼性の高い有意性分析が可能になった。
• 付録のアブレーションスタディにより、DynaMaxの各構成要素が全体の性能向上に有意義に寄与していることが確認された。