[論文レビュー] Citation Recommendations Considering Content and Structural Context Embedding

Yang Zhang, Qiang Ma|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、コンテンツの文脈、ローカル文脈、構造的文脈（原稿内に存在するすべての引用を含む）を統合することで、引用推薦を向上させる新しいドキュメント埋め込みモデル、DocCit2Vecを提案する。このモデルはベースラインを上回る性能を示し、特にDocCit2Vec-avgはDBLPデータセットで12–15%高い再現率を達成し、構造的文脈が学術的文書作成の文脈において推薦の関連性とカバレッジを顕著に向上させることを示している。

ABSTRACT

The number of academic papers being published is increasing exponentially in recent years, and recommending adequate citations to assist researchers in writing papers is a non-trivial task. Conventional approaches may not be optimal, as the recommended papers may already be known to the users, or be solely relevant to the surrounding context but not other ideas discussed in the manuscript. In this work, we propose a novel embedding algorithm DocCit2Vec, along with the new concept of ``structural context'', to tackle the aforementioned issues. The proposed approach demonstrates superior performances to baseline models in extensive experiments designed to simulate practical usage scenarios.

研究の動機と目的

• キーワード一致やローカル文脈に依存する従来の引用推薦手法の限界を解決する。これらの手法は、しばしば既知または重複する論文を推薦する傾向がある。
• 原稿内にすでに引用済みの論文を再び推薦する問題を、構造的文脈（つまり、文書内に存在するすべての既存の引用の集合）を組み込むことで克服する。
• 共引用パターン（頻繁に一緒に引用される論文）を活用することで、推薦の質を向上させる。このパターンにより、新しい引用に適した論文がより高い可能性を示す。
• コンテンツ、ローカル文脈、構造的文脈を保持する統一された埋め込みモデルを構築し、引用推薦と下流の分類タスクの両方を支援する。
• 全原稿文脈、部分的文脈、実世界の引用推薦タスクを含む多様なシナリオにおいて、モデルの有効性を評価する。

提案手法

• 原稿内に既に引用された論文の集合としての「構造的文脈」の概念を導入し、引用の共起パターンをモデル化することで、重複を避ける。
• 二重アーキテクチャのニューラルネットワークモデルであるDocCit2Vecを提案：コンテンツ、ローカル文脈、構造的文脈からの埋め込みを統合する平均プーリング層（DocCit2Vec-avg）と、アテンションメカニズム（DocCit2Vec-att）を用いたモデル。
• 意味的類似性を保持するように、対照学習の目的関数を用いてモデルを学習する。これは、関連する引用文脈とそのターゲット論文の間の類似性を維持することを目的としている。
• 単語レベルの埋め込み（例：Word2Vec）と文書レベルの表現（例：Doc2Vec）を統合したフレームワークを構築し、コンテンツと引用構造の両方を同時に符号化する。
• ハイパーグラフベースのアプローチから得られる文書のINおよびOUTベクトルを用い、インcomingおよびoutgoing引用関係を表現することで、構造的認識を強化する。
• 学習された高次元ベクトルを下流タスクに応用する：引用推薦（リンク予測）および文書分類（トピックおよび引用機能分類）。

実験結果

リサーチクエスチョン

• RQ1 原稿内に存在するすべての引用（構造的文脈）を統合することで、ローカル文脈やコンテンツ文脈のみに依存するモデルと比較して、引用推薦のパフォーマンスが向上するか？
• RQ2 アテンションメカニズムと平均プーリングは、コンテンツ、ローカル文脈、構造的文脈という複数のソースの文脈を統合する際、引用推薦においてどのように比較されるか？
• RQ3 構造的文脈を組み込むことで、すでに引用済みまたは重複する論文の推薦がどの程度減少するか？
• RQ4 提案されたDocCit2Vecモデルは、全原稿文脈、部分的文脈を含む、さまざまなデータセットおよび引用推薦シナリオに一般化できるか？
• RQ5 DocCit2Vecから得られる学習済みの文書埋め込みは、トピックラベル付けや引用機能分類といった下流分類タスクを効果的にサポートできるか？

主な発見

• DBLPデータセットにおいて、DocCit2Vec-avgは、2番目に優れたモデルであるHyperDoc2Vecと比較して、あらゆる推薦シナリオで12–15%高い再現率を達成した。
• DBLPデータセットでは、DocCit2Vec-avgはMAPで4–7%、nDCGで6–11%高い性能を示し、順位付けの質において一貫した優位性を示した。
• DocCit2Vec-attは、トピック分類においてF1-macro（78.43）とF1-micro（83.80）の最高スコアを記録し、HyperDoc2Vecを約3–4%上回った。
• アテンションベースのバージョン（DocCit2Vec-att）は文書レベル分類では優れたパフォーマンスを示したが、単語レベル分類では劣っていた。これは、文書レベルの意味を捉える能力に優れていることを示している。
• DocCit2Vec-avgは分類タスクで劣悪なパフォーマンスを示したが、これは平均化による文書類似度の重視が、特徴を明確に識別する必要があるタスクと矛盾するためと推測される。
• 結果から、構造的文脈がDocCit2Vec-avgの埋め込みに効果的に統合されていることが確認された。構造的文脈が部分的にマスクされてもパフォーマンスが著しく低下しなかったため、文脈の欠落に強く、ロバストであることが示された。