[論文レビュー] Content-Based Citation Recommendation

Chandra Bhagavatula, Sergey Feldman+2 more|arXiv (Cornell University)|Feb 22, 2018

Topic Modeling参考文献 20被引用数 12

ひとこと要約

本稿では、著者や会議名などのメタデータに依存せずに、文書のテキストのニューラルネットワーク埋め込みを用いて関連する引用を推薦するコンテンツベースの引用推薦システムを提案する。学習済みベクトル空間における最近傍探索を最初に行い、その後、識別モデルを用いて再ランク付けすることで、PubMedおよびDBLPにおいて最先端の性能を達成し、F1@20で前人を18%以上、MRRで22%以上上回った。メタデータが欠落している状況でも同様の性能を発揮する。

ABSTRACT

We present a content-based method for recommending citations in an academic paper draft. We embed a given query document into a vector space, then use its nearest neighbors as candidates, and rerank the candidates using a discriminative model trained to distinguish between observed and unobserved citations. Unlike previous work, our method does not require metadata such as author names which can be missing, e.g., during the peer review process. Without using metadata, our method outperforms the best reported results on PubMed and DBLP datasets with relative improvements of over 18% in F1@20 and over 22% in MRR. We show empirically that, although adding metadata improves the performance on standard metrics, it favors self-citations which are less useful in a citation recommendation setup. We release an online portal (http://labs.semanticscholar.org/citeomatic/) for citation recommendation based on our method, and a new dataset OpenCorpus of 7 million research articles to facilitate future research on this task.

研究の動機と目的

• 査読中や初期研究段階など、著者名や会議名などのメタデータが欠落している状況における引用推薦の課題に対処すること。
• 新しい文書がコロナスに追加されても再トレーニングを必要としない、スケーラブルなコンテンツオンativeの引用推薦手法を開発すること。
• メタデータに依存しないことで、自己引用へのバイアスを回避し、既存の引用推薦システムを改善すること。
• 大規模かつ公開可能なデータセットとウェブベースのツールを公開し、今後の引用推薦分野の研究を支援すること。

提案手法

• モデルは、タイトルとアブストラクトのみのテキストコンテンツに基づいてトレーニングされたニューラルネットワークを用いて、すべての文書（クエリを含む）を共通のベクトル空間に埋め込む。
• 候補となる引用は、クエリ文書と候補文書の間の意味的類似度に基づき、ベクトル空間内でのk近傍探索（KNN）によって選択される。
• 別個の識別モデルをトレーニングし、観測済みの引用ペア（ポジティブペア）と未観測の引用ペア（ネガティブペア）を区別する。入力としてクエリ-文書ペアを用いる。
• バッチ処理による確率的勾配降下法を用いてモデルをトレーニングし、OpenCorpusのような大規模コロナスへの効率的スケーリングを可能にする。
• モデルは非伝達的設計である。新しい文書は、モデル全体の再トレーニングなしに、既存のベクトル空間に埋め込むことができる。
• 最終的な推薦リストは、識別モデルの出力確率を用いて候補を再ランク付けすることで生成される。

実験結果

リサーチクエスチョン

• RQ1 著者名や出版会議名などのメタデータに依存せず、文書のテキスト内容のみを用いて、最先端の性能を達成できる引用推薦システムは構築可能か？
• RQ2 メタデータに依存しないコンテンツオンリーの引用推薦システムは、特に公平性や自己引用バイアスの回避という観点から、メタデータを活用するベースラインと比較してどのように性能を発揮するか？
• RQ3 メタデータを追加することで性能が向上するが、その向上は望ましくない引用バイアスを生じさせるリスクを伴うのか？
• RQ4 ニューラルネットワークベースのアプローチは、数百万件の文書を含む大規模な引用推薦タスクに対しても、効率的にスケーリング可能か？
• RQ5 前回の研究がプルーニングや小規模なテストセットを用いているのに対し、本手法は大規模で現実的なデータセット上で、どのように性能を発揮するか？

主な発見

• 提案手法は、PubMedおよびDBLPのベンチマークで、F1@20で18%以上、MRRで22%以上も前人を上回る結果を達成し、メタデータを一切使用しない状況でも同様の性能を発揮した。
• メタデータを追加すると標準指標上での性能は向上するが、自己引用への顕著なバイアスが生じ、引用推薦の有用性を低下させる。
• メタデータが欠落している状況でも、本手法は頑健で効果的であり、初期研究段階や査読プロセスなどに適している。
• 本手法は、テキスト埋め込みのみを用いて2つのベンチマークデータセットで最先端の結果を達成し、コンテンツベースの表現学習の有効性を示した。
• 700万件の研究論文からなるOpenCorpusというデータセットの公開により、従来のデータセットが抱える問題（小規模、過剰なプルーニング）を解決した。
• オンライン引用推薦ポータル「citeomatic」を公開し、テキストのみに基づくリアルタイムの引用提案が可能になった。