[論文レビュー] Words are not Equal: Graded Weighting Model for building Composite Document Vectors

Pranjal Kumar Singh, Amitabha Mukerjee|arXiv (Cornell University)|Dec 11, 2015

Sentiment Analysis and Opinion Mining参考文献 32被引用数 11

ひとこと要約

本論文は、tf-idf などの段階的スケームを用いて、各単語の識別的関連性に基づいて単語ベクトルに重みを付けることで、すべての単語を同等に扱うか、ストップワードを完全に除外するのではなく、文書表現を向上させるグレーディング重み付けモデル、Composite Document Vectors (CDV) を提案する。この手法は、IMDB および Amazon 評価データセットで最先端の性能を達成し（それぞれ 94.19% および 92.17% の正解率）、ヒンディー語のレビューでは 12% の向上を示し、構文解析や重度の前処理を必要とせず、低リソース言語や語形変化の多い言語に対しても有効であることを示している。

ABSTRACT

Despite the success of distributional semantics, composing phrases from word vectors remains an important challenge. Several methods have been tried for benchmark tasks such as sentiment classification, including word vector averaging, matrix-vector approaches based on parsing, and on-the-fly learning of paragraph vectors. Most models usually omit stop words from the composition. Instead of such an yes-no decision, we consider several graded schemes where words are weighted according to their discriminatory relevance with respect to its use in the document (e.g., idf). Some of these methods (particularly tf-idf) are seen to result in a significant improvement in performance over prior state of the art. Further, combining such approaches into an ensemble based on alternate classifiers such as the RNN model, results in an 1.6% performance improvement on the standard IMDB movie review dataset, and a 7.01% improvement on Amazon product reviews. Since these are language free models and can be obtained in an unsupervised manner, they are of interest also for under-resourced languages such as Hindi as well and many more languages. We demonstrate the language free aspects by showing a gain of 12% for two review datasets over earlier results, and also release a new larger dataset for future testing (Singh,2015).

研究の動機と目的

• 既存の文書構成モデルがすべての単語を同等に扱うか、ストップワードを二値の意思決定で除外するという限界に対処し、性能の低下を防ぐこと。
• tf-idf やコサインベースの重み付け、分散に基づくフィルタリングなどの段階的重み付けスキームを、文書レベルの表現における単語ベクトルに適用することを検討すること。
• ヒンディー語のような低リソース言語や語形変化の多い言語において、感情分類のパフォーマンスを向上させること。
• 構文解析や複雑な前処理を必要とせず、言語に依存しない教師なしの手法を開発し、リソースが乏しい言語への広範な適用性を高めること。
• 重み付き単語寄与を組み込んだ複合文書ベクトルが、Paragraph Vectors や RNNLM よりも優れた性能を発揮することを示すこと。

提案手法

• 本手法は、tf-idf スコアから得られる重みを用いて、単語ベクトルの重み付き平均を計算することで文書ベクトルを構築し、各単語の文書内における識別的重要性を反映する。
• 本モデルは、段階的重み付けを介して単語レベルのベクトル意味と文書レベルの文脈を統合する複合文書ベクトル（CDV）表現を導入し、二値のストップワードフィルタリングを回避する。
• RNNLM（再帰的ニューラルネットワーク言語モデル）とCDVをアンサンブルすることで、統計的および逐次的モデリングの両方の強みを活かす。
• 冗長な高頻度特徴によるノイズを低減するために、特徴の分散低減を適用する。特に大規模語彙設定において有効である。
• 本手法は教師なしで言語に依存せず、生テキストと事前学習済み単語ベクトルのみに依存するため、ヒンディー語のような低リソース言語にも適用可能である。
• 本手法は、IMDB（英語）、Amazon エレクトロニクスレビュー（英語）、IITB ヒンディー映画レビューの3つのデータセットで評価され、主に正解率を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 tf-idf などの段階的重み付け（例：tf-idf）を用いることで、均一な平均化やストップワードの除外と比較して、文書表現および感情分類の正解率が向上するか？
• RQ2 複合文書ベクトル（CDV）モデルは、Paragraph Vectors や RNNLM といった最先端のモデルを、標準ベンチマークデータセットで上回るか？
• RQ3 言語に依存しない教師なしの文書構成手法は、ヒンディー語のような低リソースで活発な語形変化を示す言語において、どの程度の性能向上をもたらすか？
• RQ4 CDV と RNNLM のアンサンブル統合は、個々のモデルよりもパフォーマンスをどのように向上させるか？
• RQ5 高頻度で識別的でない単語（例：ストップワード）によるノイズは、文書ベクトルの品質にどのような影響を与えるか？分散に基づくフィルタリングはこれを緩和できるか？

主な発見

• 複合文書ベクトル（CDV）モデルは、IMDB データセットで 93.91% の正解率を達成し、Paragraph Vectors による従来の最先端の 92.58% を上回った。
• Amazon エレクトロニクスレビューでは、CDV モデルが 92.17% の正解率を達成し、従来の最高水準の 85.90% より顕著に優れた。
• ヒンディー映画レビューでは、CDV モデルが 90.30% の正解率を達成し、過去の結果より 12% の向上を示し、前回の最良手法より 10.1% の増加を記録した。
• CDV と RNNLM のアンサンブルは、IMDB で 94.19% の正解率を達成し、従来の最先端より 1.6% の向上を示した。
• 本モデルは低リソース環境でも安定性を示した。ヒンディー語レビューでの 12% の向上は、言語資源が乏しい環境で従来のモデルが苦戦していたことの効果を裏付けている。
• 平均ベクトルや重み付き平均ベクトルといったモデルよりも優れた性能を示しており、tf-idf などの段階的重み付けが、均一または二値フィルタリングよりも効果的であることが確認された。