[論文レビュー] Classification of Research Citations (CRC)

Bilal Hayat Butt, Muhammad Rafi+4 more|arXiv (Cornell University)|Jun 30, 2015

Advanced Malware Detection Techniques参考文献 11被引用数 10

ひとこと要約

本稿では、引用文の周囲5文の文脈窓と感情辞書を用いたナイーブベイズ分類器を用いて、研究引用を肯定的または否定的センチメントに自動分類する手法を提案する。150篇のコンピュータサイエンス分野の論文を対象に評価した結果、80%の正確性を達成し、科学文献分析における跨学術的応用の可能性を示している。

ABSTRACT

Research is a continuous phenomenon. It is recursive in nature. Every research is based on some earlier research outcome. A general approach in reviewing the literature for a problem is to categorize earlier work for the same problem as positive and negative citations. In this paper, we propose a novel automated technique, which classifies whether an earlier work is cited as sentiment positive or sentiment negative. Our approach first extracted the portion of the cited text from citing paper. Using a sentiment lexicon we classify the citation as positive or negative by picking a window of at most five (5) sentences around the cited place (corpus). We have used Naïve-Bayes Classifier for sentiment analysis. The algorithm is evaluated on a manually annotated and class labelled collection of 150 research papers from the domain of computer science. Our preliminary results show an accuracy of 80%. We assert that our approach can be generalized to classification of scientific research papers in different disciplines.

研究の動機と目的

• 研究引用を肯定的または否定的センチメントに自動分類することで、文献レビューと引用分析を支援すること。
• 分類精度を向上させるために、引用文の周囲の文脈テキストを抽出すること。
• 手動でアノテートされた引用データセットに対して、ナイーブベイズ分類器と感情辞書を組み合わせた性能を評価すること。
• この手法が異なる科学分野に一般化可能かどうかを評価すること。
• 学術文献における支援的または批判的な参照を特定するスケーラブルなソリューションを提供すること。

提案手法

• 本手法は、引用文の周囲に最大5文の文脈窓を抽出する。
• 抽出された文脈窓のセンチメントを、感情辞書を用いて分析する。
• 周囲のテキストのセンチメントスコアに基づき、ナイーブベイズ分類器を訓練して引用を肯定的または否定的に分類する。
• ラベル付きの学習および評価データセットを作成するために、コンピュータサイエンス分野の150篇の論文を手動でアノテートする。
• 引用の文脈をセンチメント分類の文書として扱い、引用の直近のテクスト環境に焦点を当てる。
• 引用自体ではなく、局所的な文脈内の語彙的センチメントの手がかりに基づいてセンチメントを評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮したセンチメント分析アプローチは、研究引用を肯定的または否定的に効果的に分類できるか？
• RQ2 感情辞書を用いた文脈窓を適用した場合、ナイーブベイズ分類器の正確性はどの程度か？
• RQ3 引用文の周囲に5文の窓を含めることで、分類性能がどの程度向上するか？
• RQ4 この手法は、コンピュータサイエンス以外の科学分野にも一般化可能か？
• RQ5 局所的なテキスト的文脈が、支援的引用と批判的引用を区別する上でどのような影響を及ぼすか？

主な発見

• 提案手法は、コンピュータサイエンス分野の150篇の手動アノテート済みデータセットで80%の正確性を達成した。
• 5文の文脈窓の使用により、引用の周囲の修辞的意図を捉えることができ、センチメント分類の精度が顕著に向上した。
• 感情辞書と組み合わせたナイーブベイズ分類器は、引用センチメント分析において優れた性能を示した。
• 局所的なテキスト的文脈と語彙的センチメントリソースを用いることで、引用センチメント分類が実現可能であると示唆された。
• 本手法は、学術文献分析と引用に基づく研究評価の自動化に有望である。
• 本研究は、他の科学分野への引用センチメント分析の拡張に向けた基盤を提供する。