[論文レビュー] SciCo: Hierarchical Cross-Document Coreference for Scientific Concepts

Arie Cattan, Sophie Johnson+5 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling参考文献 53被引用数 11

ひとこと要約

本稿では、科学文献における階層的ドキュメント間共参照（H-CDCR）のための大規模で専門家がアノテートしたデータセットであるSciCoを紹介する。ここで、抽象的な技術的概念の表記が参照階層を通じてクラスタリングされ、関連付けられる。共参照クラスタと階層的関係を同時に予測する統合的モデリング手法が、ベースラインを上回る性能を示したが、さらなる向上の余地が残っている。

ABSTRACT

Determining coreference of concept mentions across multiple documents is a fundamental task in natural language understanding. Previous work on cross-document coreference resolution (CDCR) typically considers mentions of events in the news, which seldom involve abstract technical concepts that are prevalent in science and technology. These complex concepts take diverse or ambiguous forms and have many hierarchical levels of granularity (e.g., tasks and subtasks), posing challenges for CDCR. We present a new task of Hierarchical CDCR (H-CDCR) with the goal of jointly inferring coreference clusters and hierarchy between them. We create SciCo, an expert-annotated dataset for H-CDCR in scientific papers, 3X larger than the prominent ECB+ resource. We study strong baseline models that we customize for H-CDCR, and highlight challenges for future work.

研究の動機と目的

• 科学文献における抽象的で階層的な技術的概念を含むドキュメント間共参照解決（CDCR）のためのデータセットとモデルの不足に対処すること。
• 階層的ドキュメント間共参照解決（H-CDCR）という新しいタスクを定式化・定義すること。このタスクでは、共参照クラスタとそれらの間の参照的階層を同時に推論する。
• コンピュータサイエンス論文に含まれる概念表記を、階層的な粒度でカバーする、ECB+の3倍の規模の大規模で専門家がアノテートしたデータセットであるSciCoを構築すること。
• H-CDCRにおける強力なベースラインモデルの評価を行い、科学的テキストにおける語彙的多様性、曖昧さ、階層的構造の処理における課題を同定すること。
• ファセット検索の例によるクエリ、概念ナビゲーション、科学的文書コレクションにおける情報検索の向上といった、下流の応用を可能にすること。

提案手法

• 低カバレッジの知識ベース、ノイズの多い上位語抽出器、およびキュレートされた候補セットを用いた、新しい候補生成パイプラインを開発し、SciCoデータセットを構築した。
• 分野の専門家によるアノテーションを通じて、科学論文における共参照クラスタと参照的階層をアノテートし、H-CDCRのための高品質な教師信号を確保した。
• 共参照クラスタ間の共参照関係と階層的関係を同時に予測できるように、クロスエンコーダー構造を用いた統合的モデリング手法を提案した。
• Levenshtein距離による表記一致や、分離された共参照・階層モデルを含む、複数のベースラインを評価し、パフォーマンスのベンチマークを確立した。
• 語彙的多様性や曖昧さのレベルが異なるサブセットにおける性能を評価するために、マイクロ平均F1スコアを用いた。
• 語彙的多様性の変動にもかかわらず、アノテーター間一貫性が性能の妥当な代理指標であることを検証するため、相関分析（ピアソンおよびスピアマン）を適用した。

実験結果

リサーチクエスチョン

• RQ1 科学的概念表記における語彙的多様性と曖昧さは、共参照解決のパフォーマンスにどのように影響するか？
• RQ2 分離されたモデルよりも、共参照クラスタとそれらの間の階層的関係を統合的に予測する統一モデルが、より効果的であるか？
• RQ3 共参照モデルの性能は、語彙的多様性が低い、もしくは曖昧な科学的概念表記のサブセットにおいて、どの程度低下するか？
• RQ4 提案されたH-CDCRタスクは、科学文献におけるファセット検索の例によるクエリや概念ナビゲーションの支援をどの程度向上させるか？
• RQ5 複数の科学的文書にまたがる階層的で抽象的な技術的概念をモデル化するうえでの主な課題は何か？

主な発見

• 提案された統合的クロスエンコーダー・モデルは、H-CDCRにおいて複数のベースラインを上回り、共参照と階層のエンドツーエンド学習の利点を示した。
• データセットであるSciCoは、代表的なECB+データセットの3倍の規模であり、H-CDCRモデルの学習と評価に大きなリソースを提供している。
• 共参照のパフォーマンスは語彙的多様性と強く相関しており、編集距離ベースラインの性能で下位10%および20%のトピックではF1スコアが低くなることが示された。
• 編集距離ベースラインはアノテーター間一貫性と相関しなかった（p値：0.10および0.21）。これにより、語彙的多様性の変動に対しても、人間の合意が性能の信頼できる指標であることが裏付けられた。
• 意味的に類似しているが語彙的に異なる表記（例：'scientific paper analysis' と 'scholarly document analysis'）の間の共参照解決にモデルが苦労しており、より洗練された文脈表現の必要性が示された。
• 強力なベースライン性能を示しているものの、特に科学的概念表記における曖昧さと語彙的変動の処理において、さらなる向上の余地が著しく残っている。