[論文レビュー] Q-WordNet PPV: Simple, Robust and (almost) Unsupervised Generation of Polarity Lexicons for Multiple Languages

Iñaki San Vicente, Rodrigo Agerri+1 more|arXiv (Cornell University)|Feb 6, 2017

Sentiment Analysis and Opinion Mining参考文献 23被引用数 7

ひとこと要約

本稿では、自動生成されたシード語を用いてWordNetに基づくグラフ上でPersonalized PageRankを適用することで、多言語極性辞書を生成するシンプルで頑丈かつ（ほぼ）自己教師ありの手法qwn-ppvを提案する。複数の感情分析タスクおよびデータセットにおいて、従来の自動および手動で作成された辞書を上回る性能を示し、内部評価が実世界の性能を正確に予測しないこと、およびタスク固有の適応性が効果性の鍵であることを示している。

ABSTRACT

This paper presents a simple, robust and (almost) unsupervised dictionary-based method, qwn-ppv (Q-WordNet as Personalized PageRanking Vector) to automatically generate polarity lexicons. We show that qwn-ppv outperforms other automatically generated lexicons for the four extrinsic evaluations presented here. It also shows very competitive and robust results with respect to manually annotated ones. Results suggest that no single lexicon is best for every task and dataset and that the intrinsic evaluation of polarity lexicons is not a good performance indicator on a Sentiment Analysis task. The qwn-ppv method allows to easily create quality polarity lexicons whenever no domain-based annotated corpora are available for a given language.

研究の動機と目的

• 複数の言語で高品質な極性辞書を生成するシンプルで頑丈かつ（ほぼ）自己教師ありの手法を開発すること。
• 内部評価の限界を克服し、その実際の感情分析性能との相関が低いことを示すこと。
• ドメイン特化されたコーパスが入手できない状況において、タスク固有の辞書をオンデマンドで生成可能にすること。
• 英語およびスペイン語を用いて、本手法の有効性と多言語への適用可能性を示すこと。
• いかなる1つの辞書もすべてのタスクに最適ではなく、パフォーマンスを最大化するには適応性が不可欠であることを示すこと。

提案手法

• 本手法は辞書ベースのアプローチを採用し、語彙的知識ベース（WordNet）をグラフ構造に変換してスコア伝搬を実現する。
• 既知の感情用語に基づくシンプルで自己教師ありのヒューリスティックを用いて、感情極性用語の自動生成を行う。
• シード語からグラフ全体にわたって感情スコアを伝搬するためにPersonalized PageRankを適用し、シンセットごとに極性スコアを割り当てる。
• 再帰的伝搬回数を変更することで複数の構成（G1, G2, G3）を生成し、再現率や適合率の最適化を図る。
• 単語レベルおよび意味レベルの両方で動作可能であり、微細な感情分析を可能にする。
• WordNetや類似の語彙的リソースの存在に依存するため、そのリソースが利用可能な言語へ容易に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 語彙的知識ベース上のグラフ伝搬に基づくシンプルで自己教師ありの手法が、感情分析タスクにおいて既存の自動および手動辞書を上回ることができるか？
• RQ2 内部評価は、感情分類における実世界の性能を信頼できる指標として提供できるか？
• RQ3 qwn-ppvの性能は、異なるデータセット、タスク、言語バージョン（例：英語対スペイン語）でどのように変化するか？
• RQ4 アノテーション付き学習データを必要とせず、複数のタスク固有の辞書を効率的に生成できるか？
• RQ5 本手法の性能は、グラフ構成（例：伝搬ステップ数）にどの程度依存するか？

主な発見

• qwn-ppvは、英語およびスペイン語のデータセットにおいて、4つの外部評価タスクすべてでSentiWordNet 3.0およびMSOLを上回った。
• 本手法は競争力があり、安定した性能を発揮し、特定のタスクではOFやMihalcea(full)といった手動で作成された辞書と同等またはそれを上回る結果を得た。
• どの1つの辞書もすべてのタスクに最適ではない。性能はデータセットやタスク要件によって顕著に変動し、適応性の重要性が浮き彫りになった。
• G3構成（より多くの伝搬ステップ）は高い再現率を達成し、カバー範囲が広いタスクに適している一方、G1は高い適合率と低いノイズを実現している。
• 内部評価と実際の感情分類性能の間には弱い相関関係が見られ、内部評価が辞書選定の信頼できる指標ではないことを示している。
• 本手法は非常に適応可能であり、数百ものタスク固有の辞書を迅速に生成可能であり、リソースが限られた言語環境に特に適している。