[論文レビュー] Librarian-in-the-Loop: A Natural Language Processing Paradigm for Detecting Informal Mentions of Research Data in Academic Literature

Lizhou Fan, Sara Lafia+4 more|arXiv (Cornell University)|Mar 10, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、学術文献における研究データセットの非公式な言及を検出するための、図書館員をフィードバックループに組み込む自然言語処理（NLP）パラダイムを提案する。反復的な人間のアノテーションと機械学習を組み合わせることで、データセット名の名前付きエンティティ認識（NER）を向上させる。このアプローチは、ICPSRの図書館員の専門知識を活用して高品質な学習データを生成し、分野特化型の堅牢なNLPモデルを構築する。その結果、データの引用発見を向上させ、包括的な研究データインパクト指標の支援が可能になる。

ABSTRACT

Data citations provide a foundation for studying research data impact. Collecting and managing data citations is a new frontier in archival science and scholarly communication. However, the discovery and curation of research data citations is labor intensive. Data citations that reference unique identifiers (i.e. DOIs) are readily findable; however, informal mentions made to research data are more challenging to infer. We propose a natural language processing (NLP) paradigm to support the human task of identifying informal mentions made to research datasets. The work of discovering informal data mentions is currently performed by librarians and their staff in the Inter-university Consortium for Political and Social Research (ICPSR), a large social science data archive that maintains a large bibliography of data-related literature. The NLP model is bootstrapped from data citations actively collected by librarians at ICPSR. The model combines pattern matching with multiple iterations of human annotations to learn additional rules for detecting informal data mentions. These examples are then used to train an NLP pipeline. The librarian-in-the-loop paradigm is centered in the data work performed by ICPSR librarians, supporting broader efforts to build a more comprehensive bibliography of data-related literature that reflects the scholarly communities of research data users.

研究の動機と目的

• 公式な引用システムでは無視されがちな、学術文献における研究データセットの非公式な言及を特定する課題に対処すること。
• データ引用の文献目録作成にかかる人的負荷を軽減し、非公式なデータセット参照の検出を自動化することで、手作業によるキュレート作業を削減すること。
• 恒久的識別子を有さない言及を含めた、ICPSRのデータ関連文献目録の包括性を高めること。
• 分野の専門知識と機械学習を統合した、スケーラブルな人間を含むNLPパイプラインを構築し、データセット言及の検出性能を向上させること。
• 幅広い学術文献におけるデータ再利用の発見を可能にすることで、より正確な研究データインパクト指標の構築を支援すること。

提案手法

• 正規表現とキーワードパターンに基づく3段階の文抽出法（HIGH、MID、LOW）を用い、潜在的なデータセット言及を含む候補文を特定する。
• Prodigyを用いた反復的NERアノテーションを実施し、3つのアノテーションモードを用いる：ner.manual（初期ラベル付け）、ner.correct（誤りの是正）、ner.teach（モデル予測の受容／拒否の二値判断）。
• 図書館員の専門知識を活用して、NERラベル（DATASETスパン）を反復的に精緻化し、ルールベースのパターンを改善することで、モデルの汎化性能と正確性を向上させる。
• 累積的な人間アノテーションデータに基づいて機械学習ベースのNERモデルを学習し、図書館員の分野専門知識をフィードバックループで活用してモデルをブートストラップおよび精緻化する。
• パターンベースの検出（例：「アメリカ合衆国選挙調査」、「ANES」）と学習されたNERを統合することで、データセット名および略語の識別精度を向上させる。
• 得られた高品質な分野特化型データセットを、学術コミュニケーションおよび科学の科学研究分野における将来のNLP研究のベンチマークとして活用する。

実験結果

リサーチクエスチョン

• RQ1 恒久的識別子を持たない状況において、学術文献における研究データセットの非公式な言及を体系的になどのように検出できるか？
• RQ2 反復的なNLPモデル学習に図書館員の専門知識を統合した場合、完全に自動化された手法と比較して、データセット言及の検出性能がどの程度向上するか？
• RQ3 ルールベースのパターンマッチングと人間を含むNERアノテーションを組み合わせることで、モデルの性能とアノテーション効率にどのような影響を与えるか？
• RQ4 図書館員をフィードバックループに組み込むワークフローは、学術テキストにおけるデータセット言及の検出に向けた高品質で再利用可能なNLP学習データセットを生成できるか？
• RQ5 このアプローチは、社会科学研究コミュニティ全体における包括的な研究データインパクト指標の開発をどのように支援するか？

主な発見

• 図書館員をフィードバックループに組み込むNLPパラダイムは、人間の専門知識と反復的モデル学習を組み合わせることで、非公式なデータセット言及の検出を顕著に向上させる。
• Prodigyにおける反復的アノテーション（ner.manual、ner.correct、ner.teach）により、複雑または曖昧な文脈においても、効率的かつ正確にデータセット名スパンをラベル付けできる。
• モデルはデータセット言及の識別において高い正確性を達成しており、図書館員が全件の手作業スクリーニングに費やすのではなく、高信頼度の候補に集中できる。
• 得られたNERモデルとアノテーション済みデータセットは、計算的社会科学および学術コミュニケーション分野における将来の研究のための高品質なベンチマークとして機能する。
• このアプローチにより、ICPSRの文献目録は、恒久的識別子を持たないデータ再利用の参照を含めた範囲が拡大され、データインパクト指標の包括性が向上する。
• ワークフローはスケーラブルかつ適応可能であり、特に社会科学研究データアーカイブにおいてリソースが限られる機関にとって持続可能なデータキュレーティングのモデルを提供する。