[論文レビュー] Citation Classification for Behavioral Analysis of a Scientific Field

David Jurgens, Srijan Kumar+3 more|arXiv (Cornell University)|Sep 2, 2016

Topic Modeling被引用数 10

ひとこと要約

本稿は、関数（例：背景、使用、拡張）と中心性（位置付け vs. 必須）の2次元に分類する大規模かつ多次元の引用分類フレームワークを紹介する。これは、約2,000件のアノテート済み引用を含む新規データセットを用い、最先端の分類器を用いて20,000編のNLP論文にまたがる134,000件以上の引用をラベル付けした。その結果、NLP分野は共通理解へと著しくシフトしており、比較的・位置付けに関する引用の使用が減少し、共通ベンチマークやコアな手法論文への依存度が高まっていることが明らかになった。

ABSTRACT

Citations are an important indicator of the state of a scientific field, reflecting how authors frame their work, and influencing uptake by future scholars. However, our understanding of citation behavior has been limited to small-scale manual citation analysis. We perform the largest behavioral study of citations to date, analyzing how citations are both framed and taken up by scholars in one entire field: natural language processing. We introduce a new dataset of nearly 2,000 citations annotated for function and centrality, and use it to develop a state-of-the-art classifier and label the entire ACL Reference Corpus. We then study how citations are framed by authors and use both papers and online traces to track how citations are followed by readers. We demonstrate that authors are sensitive to discourse structure and publication venue when citing, that online readers follow temporal links to previous and future work rather than methodological links, and that how a paper cites related work is predictive of its citation count. Finally, we use changes in citation roles to show that the field of NLP is undergoing a significant increase in consensus.

研究の動機と目的

• 大規模かつ自動化された引用機能アノテーションの不足に対処するため、引用の役割を統一的かつ実用的な分類スキームとして構築すること。
• 科学分野全体にわたる引用機能および中心性ラベル付けの高精度分類器を開発すること。
• 引用のフレーミングが自然言語処理（NLP）分野における読者の行動および将来の引用回数に与える影響を調査すること。
• 引用実践の時間的傾向を分析し、NLP分野の成熟化と共通理解の構築プロセスを理解すること。
• 今後の研究を可能にするために、データセットとコードを公開すること。

提案手法

• 著者らは、先行する引用アノテーションスキームを統合し、引用の機能（例：背景、使用、拡張、比較）と中心性（位置付け vs. 必須）の2次元分類を構築した。
• 引数構造、トピックモデリング、句構造パターンの特徴を用いて、ACL Anthologyから抽出した約2,000件の引用を手動でアノテートし、教師あり分類器を学習した。
• 分類器はACLリファレンスコーパス全体に適用され、約40年間にわたる20,000編の論文にまたがる134,000件以上の引用をラベル付けした。
• 時間的傾向の分析にはブートストラップ信頼区間を用い、相関傾向の統計的有意性検定も実施した。
• 読者の行動は、ACLアーカイブからのオンライン引用ネットワークトレースを用いて分析され、どの引用が連続的に追跡されたかを追跡した。
• 引用のフレーミングと将来の引用回数を比較することで、引用の役割が学術的インパクトに与える予測力の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 NLP分野における議論構造と出版会場を考慮した場合、著者はどのように引用をフレーミングしているか？
• RQ2 オンラインの読者は、引用ネットワークをナビゲートする際に、どの種類の引用を追跡しているか？
• RQ3 引用のフレーミングが、論文の将来の引用回数をどの程度まで予測できるか？
• RQ4 NLP分野において、比較的・位置付けに関する引用の役割は時間経過とともにどのように変化したか？
• RQ5 引用行動に基づく証拠として、NLP分野における共通理解の増大はどのようなものがあるか？

主な発見

• NLPにおける位置付けに関する引用の数は、時間経過とともに著しく減少しており、ピアソン相関係数 r = -0.446（p ≤ 0.01）であり、著者が自らの研究を擁護する必要性が低下していることを示している。
• 比較的・対照的引用の使用は、さらに急激に減少しており、r = -0.899（p ≤ 0.01）であり、コアな手法や結果についての共通理解が高まっていることを示唆している。
• 使用に関する引用の数に顕著な増加が見られ、特にPenn Treebank や BNC といった共通ベンチマークをめぐって、先行研究が新しい貢献に統合されつつあることがうかがえる。
• オンラインの読者は、技術的系統を越えて、過去の研究から未来の研究へとつながる時間的引用スレッド（引用の連鎖）を、より多く追跡しており、物語的進行の流れを技術的系統よりも好む傾向がうかがえる。
• 共通して引用される文献へのインbound引用の頻度と集中度は両方とも増加しており、比較対象の文献では r = 0.734（p ≤ 0.01）、使用された文献では r = 0.889（p ≤ 0.01）であり、主要な参照文献に対する共通理解の強化が示されている。
• 共通理解への移行は、共通評価とオープンソースツールの台頭と関連しており、NLP分野における迅速な発見科学の実現を可能にした。