[論文レビュー] Comparative study of LSA vs Word2vec embeddings in small corpora: a case study in dreams database

Edgar Altszyler, Mariano Sigman+2 more|El Servicio de Difusión de la Creación Intelectual (National University of La Plata)|Oct 5, 2016

Natural Language Processing Techniques被引用数 61

ひとこと要約

本研究では、ドリームレポートを事例として、小規模テキストコーパスにおける潜在的意味解析（LSA）とスキップグラムWord2vecの比較を行った。大規模データセットではWord2vecが優勢であるが、LSAは特に低頻度語や小規模なドリームシリーズにおいて、意味的関連性をより効果的に捉えることができ、『走る』が追跡・逃避シナリオで使われる文脈的関連性を検出するという点で優れた性能を示した。

ABSTRACT

Word embeddings have been extensively studied in large text datasets. However, only a few studies analyze semantic representations of small corpora, particularly relevant in single-person text production studies. In the present paper, we compare Skip-gram and LSA capabilities in this scenario, and we test both techniques to extract relevant semantic patterns in single-series dreams reports. LSA showed better performance than Skip-gram in small size training corpus in two semantic tests. As a study case, we show that LSA can capture relevant words associations in dream reports series, even in cases of small number of dreams or low-frequency words. We propose that LSA can be used to explore words associations in dreams reports, which could bring new insight into this classic research area of psychology

研究の動機と目的

• 小規模テキストコーパス、特に心理的テキスト分析におけるLSAとスキップグラムWord2vecの性能を評価すること。
• 予測ベースのモデル（例：スキップグラム）が、パラメータ数が多くなるため、小規模コーパスでは著しく性能が低下するかどうかを調査すること。
• 限られたデータで個々のドリームシリーズにおける意味的パターンを検出するために、単語埋め込みを用いる可能性を検証すること。
• 『走る』が逃避／追跡の文脈で使われるような、文脈に特化した語の関連性を特定する際のモデルの頑健性を比較すること。
• LSAが低データ環境におけるニューラルネットワークベースの埋め込みの有効な代替手段であるかどうかを評価すること。

提案手法

• ドリームレポートから単語-文書共起行列を構築し、特異値分解（SVD）を切り詰めてLSA埋め込みを生成した。
• 同じドリームコーパスを用いて、連続ウィンドウベースの予測により単語ベクトル表現を学習するスキップグラムモデルを訓練した。
• 両モデルにおける単語ベクトル間のコサイン類似度を用いて、意味的類似度を評価した。
• 飲料、道具、服などの事前に定義されたカテゴリを用いた意味的分類テストを、コーパスのネストドサブサンプルで実施した。
• 『走る』が逃避／追跡関連のドリーム文脈で使われるかどうかを検出する文脈感受性テストを、ランク距離と逃避／追跡関連使用の割合を用いて実施した。
• log線形回帰を適用し、モデルの予測が逃避／追跡の割合にどの程度感度を示すかを測定し、予測値と実際の値の傾きと相関を比較した。

実験結果

リサーチクエスチョン

• RQ1 意味的カテゴリ表現を評価する際、LSAは小規模テキストコーパスにおいてスキップグラムWord2vecを上回るのか？
• RQ2 LSAとスキップグラムは、逃避／追跡のドリームシナリオにおける『走る』のような文脈に特化した語の関連性を検出する際に、どのように性能を発揮するのか？
• RQ3 モデルの性能差がコーパスサイズや語の頻度にどの程度依存するのか？
• RQ4 LSAは、低頻度語または短いドリームシリーズにおいて、ターゲット語の意味的近傍を信頼性を持って捉えることができるのか？
• RQ5 スキップグラムの予測ベースの性質は、LSAのような共起ベースのモデルと比較して、小データ環境下で不利に働くのか？

主な発見

• LSAは、小規模コーパス（約100万語）で訓練された場合、意味的分類タスクでスキップグラムを上回ったが、中規模コーパス（約1000万語）ではWord2vecがLSAを上回った。
• 逃避／追跡文脈検出タスクにおいて、LSAのlog線形傾きは-2.10であり、スキップグラムの-1.11よりも顕著に急であった。これは、文脈への感受性が優れていることを示している。
• LSAは実際の逃避／追跡使用との相関が-0.57（p < 0.0001）であったのに対し、スキップグラムは-0.42（p = 0.007）であった。これは、LSAが実際の使用傾向とより強く一致していることを確認した。
• コルモゴロフ＝スミルノフ検定により、LSAとスキップグラムの傾き分布に統計的に有意な差が認められた（p < 3×10⁻⁴）。この結果はLSAに有利に働いた。
• LSAは、高逃避／逃避割合のシリーズにおいて『追われている』『隠れている』『追っている』といった文脈的に関連する語を『走る』の近傍として正しく特定できたが、スキップグラムはこのようなパターンを検出できなかった。
• 逃避／追跡コンテンツのないコントロールシリーズでは、両モデルとも『走る』を逃避関連語と結びつけるのを正しく避け、特異性が確認された。