[論文レビュー] Evaluating vector-space models of analogy

Dawn Chen, Joshua C. Peterson+1 more|arXiv (Cornell University)|May 12, 2017

Cognitive Science and Education Research参考文献 14被引用数 31

ひとこと要約

この論文は、word2vec や GloVe などの現代的単語埋め込みにおける類推の平行四辺形モデルを評価し、その予測した関係的類似性が人間の判断とどのように一致するかを検証している。モデルは一部の意味的関係をうまく捉えているが、三角不等式のような幾何的制約の違反を人間が示すのを再現できず、人間のような類推的推論をモデル化する上で根本的な制限があることが明らかになった。

ABSTRACT

Vector-space representations provide geometric tools for reasoning about the similarity of a set of objects and their relationships. Recent machine learning methods for deriving vector-space embeddings of words (e.g., word2vec) have achieved considerable success in natural language processing. These vector spaces have also been shown to exhibit a surprising capacity to capture verbal analogies, with similar results for natural images, giving new life to a classic model of analogies as parallelograms that was first proposed by cognitive scientists. We evaluate the parallelogram model of analogy as applied to modern word embeddings, providing a detailed analysis of the extent to which this approach captures human relational similarity judgments in a large benchmark dataset. We find that that some semantic relationships are better captured than others. We then provide evidence for deeper limitations of the parallelogram model based on the intrinsic geometric constraints of vector spaces, paralleling classic results for first-order similarity.

研究の動機と目的

• 現代のベクトル空間モデル（word2vec、GloVe）が、言語的類推における人間の関係的類似性判断をどの程度うまく予測できるかを評価すること。
• 関係がベクトル差として表現される平行四辺形モデル—類推の関係がベクトル差として表される—が、人間の認知的類似性判断を正確に反映しているかどうかを調査すること。
• 人間の関係的類似性判断が、ベクトル空間モデルを制約する幾何的制約（例：三角不等式）に違反するかどうかを検討すること。
• ベクトル空間モデルの限界が、最適でない埋め込み手法によるものではなく、ベクトル空間そのものの内在的幾何的性質に起因するかどうかを特定すること。

提案手法

• クラス包含、対比、部品-全体関係など、10種類の意味的関係タイプを含む、5,000組の語のペア比較から構成される新しいデータセットを収集した。
• 参加者が7段階スケールで類推の質を評価する人間の評価タスクを実施し、類推の類似性を検証するための12組の三つ組（1-2、2-3、1-3タイプ）を用いた。
• word2vec および GloVe 埋め込みにおいて、差分ベクトル（例：v_queen - v_king）間のコサイン類似度を用いて予測された関係的類似度を計算した。
• 人間の評価と予測された類似度の両方に対して、反復測定分散分析（repeated-measures ANOVAs）を実施し、類推タイプの効果を検証した。別々の被験者間分散分析（between-subjects ANOVAs）を用いても同様の分析を実施した。
• Tukey HSD の事後検定を用いて、類推タイプ（1-2、2-3、1-3）ごとの平均評価と予測類似度を比較した。
• 人間の判断における幾何的公理（対称性、三角不等式）の違反を分析し、ベクトル空間モデルの予測と比較した。

実験結果

リサーチクエスチョン

• RQ1 word2vec および GloVe 埋め込みは、言語的類推における人間の関係的類似性判断をどの程度うまく予測できるか？
• RQ2 人間の関係的類似性判断は、三角不等式のような幾何的制約に違反するのか？ もし違反するならば、その影響はベクトル空間モデルにどのように現れるか？
• RQ3 類似、部品-全体関係などの特定の意味的関係タイプでは、平行四辺形モデルが他のタイプよりも優れているのか？
• RQ4 ベクトル空間モデルが人間の関係的類似性を予測できない原因が、ベクトル空間そのものの内在的幾何的制約に起因するのかどうか？
• RQ5 異なる類推構造において、word2vec および GloVe 埋め込みの予測と人間の評価との関係的類似度の違いは何か？

主な発見

• 人間の評価では、類推タイプに著しい効果が認められ、タイプ1-2（M=5.44、SD=.99）およびタイプ2-3（M=5.43、SD=.63）はタイプ1-3（M=2.99、SD=.46）よりも有意に高く評価された（p<.001）。
• 人間の評価に対する分散分析では、類推タイプに著しい効果が確認され、F(2,33)=45.57、p<.001であった。これは、参加者が構造に応じて関係的類似性を異なるように認識していることを示している。
• word2vec および GloVe からの予測された関係的類似度には、類推タイプの効果が著しくなかった：word2vec では F(2,33)=1.20、p=.31、GloVe では F(2,33)=.24、p=.79 であった。
• 12組の三つ組のうち7組で、期待されるパターン（1-2および2-3が1-3より高く評価される）が人間の評価で有意であったが、このパターンはベクトルモデルでは一貫して予測されていなかった。
• 人間の判断は三角不等式に違反しており、1-2および2-3の類推が1-3の類推よりも高く評価された。これは、三角不等式が成り立つならば1-3の類推が最も類似しているはずであるが、実際にはそうではなかったことを示している。
• ベクトル空間モデルが人間の関係的類似性のパターンを再現できない原因は、三角不等式のような内在的幾何的制約に起因しており、より良い埋め込み手法では克服できない。