[論文レビュー] Structural Scaffolds for Citation Intent Classification in Scientific Publications

Arman Cohan, Waleed Ammar+2 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、科学的議論の構造的特徴（セクションタイトルの予測や引用の価値の評価）を補助タスクとして用いるニューラルマルチタスク学習フレームワークを提案する。外部特徴を用いずに科学的ドメインの構造的信号を活用することで、ACL-ARCデータセットにおいてF1スコア67.9%というSOTAの成績を達成し、前回の最良手法比で13.3%の絶対的向上を示した。また、複数の科学的分野をカバーする大規模なSciCiteデータセットを公開した。

ABSTRACT

Identifying the intent of a citation in scientific papers (e.g., background information, use of methods, comparing results) is critical for machine reading of individual publications and automated analysis of the scientific literature. We propose structural scaffolds, a multitask model to incorporate structural information of scientific papers into citations for effective classification of citation intents. Our model achieves a new state-of-the-art on an existing ACL anthology dataset (ACL-ARC) with a 13.3% absolute increase in F1 score, without relying on external linguistic resources or hand-engineered features as done in existing methods. In addition, we introduce a new dataset of citation intents (SciCite) which is more than five times larger and covers multiple scientific domains compared with existing datasets. Our code and data are available at: https://github.com/allenai/scicite.

研究の動機と目的

• 科学的論文のcitation intent分類を、科学的ドメインの構造的情報を組み込むことで向上させること。
• citation intent分類において、手作業で設計された言語的特徴や外部リソースに依存しないこと。
• 複数の科学的分野に適用可能なスケーラブルかつ汎用的なcitation intent分類用データセットの開発。
• 論文構造に関連する補助タスクが、主タスクの分類性能を顕著に向上させることを示すこと。

提案手法

• citation文脈を符号化するために、GloVeとELMoの埋め込みを組み合わせたハイブリッド単語表現を採用。
• 双方向LSTMを用いて、文脈に応じたトークン表現の順序的依存関係を捉える。
• アテンション機構を用いて、LSTMの出力を1つの文脈に適した表現に集約。
• 2つの構造的スカフォールドを導入：セクションタイトルの予測と、文に引用が必要かどうか（citation worthiness）の判断。
• マルチタスク学習を採用し、主タスクのintent分類と2つの補助スカフォールドタスクを同時に学習。
• 大規模な論文構造の補助データセット上でエンドツーエンドに学習することで、citation intent予測の汎化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 外部の言語的リソースに依存せずに、科学的論文に内在する構造的信号がcitation intent分類を改善できるか？
• RQ2 セクションタイトル予測やcitation worthiness予測といった補助タスクは、主タスクのcitation intent分類をどの程度向上させられるか？
• RQ3 複数の科学的分野に適用可能な統一的で汎用的なcitation intent分類スキームを開発できるか？
• RQ4 構造的スカフォールドを組み込むことで、従来の特徴ベースの手法に比べてどの程度性能が向上するか？

主な発見

• 提案されたスカフォールドモデルは、ACL-ARCデータセットにおいてF1スコア67.9%というSOTAの成績を達成し、前回の最良手法比で13.3%の絶対的向上を示した。
• 手作業で設計した言語的特徴や外部リソースを一切使用せずに、既存の特徴ベースのアプローチを上回る性能を示した。
• 公開されたSciCiteデータセットは、既存のcitation intentデータセットよりも5倍以上大きく、複数の科学的分野をカバーしている。
• 混同行列の結果から、ACL-ARCおよびSciCiteデータセットの両方で、主な意図カテゴリにおいて誤差が最小限に抑えられ、モデルの汎化性能が優れていることが示された。
• セクションタイトル予測とcitation worthiness予測という補助タスクが、マルチタスク学習を通じて主タスクの分類性能を顕著に向上させた。
• 新規に公開されたSciCiteデータセットでも、モデルは優れた性能を示し、多様な科学的文献にわたる汎化能力が裏付けられた。