[論文レビュー] Article citation study: Context enhanced citation sentiment detection

Vishal Vyas, Kumar Ravi+4 more|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本稿では、語彙埋め込み、品詞タグ、依存解析のアンサンブル特徴を用いて文脈を強化したキャシオンセンチメント検出手法を提案する。実験の結果、大規模なデータセットではディープラーニングモデルが従来のBag-of-Wordsを上回り、小規模なデータセットではサポートベクターマシン（SVM）が優れていることが示され、文脈に配慮したサンプルは、3つのセンチメントクラスを持つ8つの手動アノテート済みデータセットにおいて、文脈に配慮しないアプローチを著しく上回る性能を発揮する。

ABSTRACT

Citation sentimet analysis is one of the little studied tasks for scientometric analysis. For citation analysis, we developed eight datasets comprising citation sentences, which are manually annotated by us into three sentiment polarities viz. positive, negative, and neutral. Among eight datasets, three were developed by considering the whole context of citations. Furthermore, we proposed an ensembled feature engineering method comprising word embeddings obtained for texts, parts-of-speech tags, and dependency relationships together. Ensembled features were considered as input to deep learning based approaches for citation sentiment classification, which is in turn compared with Bag-of-Words approach. Experimental results demonstrate that deep learning is useful for higher number of samples, whereas support vector machine is the winner for smaller number of samples. Moreover, context-based samples are proved to be more effective than context-less samples for citation sentiment analysis.

研究の動機と目的

• 科学的計測研究におけるキャシオンセンチメント分析という未だ十分に探査されていないタスクに対処すること。
• 3つのセンチメント極性（肯定的、否定的、ニュートラル）を持つ8つの手動アノテート済みキャシオンデータセットを開発すること。
• 文脈的情報がキャシオンセンチメント分類性能に与える影響を調査すること。
• ディープラーニングと従来の機械学習（例：SVM）アプローチを、キャシオンセンチメント分類において比較すること。
• 語彙埋め込み、品詞タグ、依存解析を組み合わせたアンサンブル特徴の有効性を評価すること。

提案手法

• 著者らは8つのキャシオンセンチメントデータセットを作成し、そのうち3つは完全な文脈的情報でアノテートされた。
• 事前学習済み語彙埋め込み、品詞（POS）タグ、依存解析関係を組み合わせたアンサンブル特徴を抽出した。
• これらの特徴をディープラーニングモデル（例：BiLSTM、CNN）の入力として使用し、Bag-of-Wordsベースラインと比較した。
• センチメント分類タスクは、ディープラーニングと従来の機械学習モデル（例：SVM）の両方を用いて訓練および評価した。
• さまざまなデータセットサイズと文脈の有無を想定した比較評価フレームワークを採用した。
• 最終的なモデルアーキテクチャは、複数の言語的特徴を統合して、キャシオンセンチメントの表現学習を強化した。

実験結果

リサーチクエスチョン

• RQ1 文脈的情報の組み込みが、キャシオンセンチメント分類性能に与える影響は何か？
• RQ2 異なるデータセットサイズにおいて、ディープラーニングと従来のモデル（例：SVM）のどちらがキャシオンセンチメント分類で優れているか？
• RQ3 語彙埋め込み、品詞タグ、依存解析を組み合わせたアンサンブル特徴が、分類精度をどの程度向上させるか？
• RQ4 トレーニングサンプルサイズの変化に伴い、ディープラーニングとSVMモデルの性能特性はどのように変化するか？
• RQ5 文脈強化型と文脈無視型のキャシオンサンプルの相対的な有効性は何か？

主な発見

• ディープラーニングモデルは、Bag-of-Wordsベースラインに比べて、大規模なキャシオンデータセットで優れた性能を発揮する。
• 小規模なキャシオンデータセットでは、サポートベクターマシン（SVM）がディープラーニングモデルを上回る。これは、サンプルサイズに依存する性能のトレードオフを示している。
• 文脈に配慮したキャシオンサンプルは、文脈に配慮しないサンプルよりも顕著に分類精度を向上させ、周囲のテキストがセンチメントの特定において重要であることを示している。
• 語彙埋め込み、品詞タグ、依存解析を統合したアンサンブル特徴アプローチは、より良い表現学習を実現し、センチメント分類を向上させる。
• 提案手法は、完全なキャシオン文脈が利用された場合に特に高いF1スコアを達成した。
• 本研究は、適切に文脈化された場合、キャシオンセンチメント分析が科学的計測およびデジタル図書館の応用において実用的で価値のあるタスクであることを確認した。