[論文レビュー] Assigning credit to scientific datasets using article citation networks

Tong Zeng, Longfeng Wu+2 more|arXiv (Cornell University)|Jan 16, 2020

Scientific Computing and Data Management参考文献 55被引用数 4

ひとこと要約

本稿では、出版物とデータセット間の引用フローを異なる方法でモデル化することで、科学的データセットに信頼性を割り当てるネットワークフロー法であるDataRankを提案する。実世界の利用状況（例：GenBankのWeb閲覧数やFigshareのダウンロード数）を予測する際、他の手法を上回ることを示しており、データセットには特徴的な引用動態があり、明示的なデータセット引用を必要とせずに意味のある順位付けが可能であることが明らかになった。

ABSTRACT

A citation is a well-established mechanism for connecting scientific artifacts. Citation networks are used by citation analysis for a variety of reasons, prominently to give credit to scientists' work. However, because of current citation practices, scientists tend to cite only publications, leaving out other types of artifacts such as datasets. Datasets then do not get appropriate credit even though they are increasingly reused and experimented with. We develop a network flow measure, called DataRank, aimed at solving this gap. DataRank assigns a relative value to each node in the network based on how citations flow through the graph, differentiating publication and dataset flow rates. We evaluate the quality of DataRank by estimating its accuracy at predicting the usage of real datasets: web visits to GenBank and downloads of Figshare datasets. We show that DataRank is better at predicting this usage compared to alternatives while offering additional interpretable outcomes. We discuss improvements to citation behavior and algorithms to properly track and assign credit to datasets.

研究の動機と目的

• 科学的データセットが再現性と再利用において極めて重要な役割を果たしているにもかかわらず、その系統的な信頼性の割り当てが不十分であるという問題に対処すること。
• 引用行動の変更を要せず、出版物の引用ネットワークからデータセットの影響を推定する手法を開発すること。
• 出版物とデータセットの引用ネットワークにおける陳腐化レートの違いをモデル化することで、影響評価の精度を向上させること。
• GenBankとFigshareの実世界データセットを用いて検証し、実際の利用メトリクス（Web閲覧数やダウンロード数）と照らして予測精度を測定すること。
• スケーラブルで解釈可能なフレームワークを提供し、科学分野における公平な評価と政策立案を支援すること。

提案手法

• 本手法は、Walkerら（2007）が提唱したNetworkFlowアルゴリズムを拡張し、出版物とデータセットの2種類のノードタイプを導入する。
• 出版物とデータセットのそれぞれに異なる減衰率を設定することで、陳腐化パターンの違いを反映した引用フローをモデル化する。
• ランダムウォークが引用ネットワークを走破し、引用の伝播経路に応じてデータセットに高いスコアを割り当てる。
• アルゴリズムは、引用フローに基づいて推定された影響を反映する相対スコア（DataRank）を各データセットに対して計算する。
• 本手法は明示的なデータセット引用を必要とせず、代わりに出版物の引用パターンから利用状況を推定する。
• GenBankおよびFigshareのメタデータを用いて検証を行い、DataRankスコアと実際のWeb閲覧数・ダウンロード数を比較する。

実験結果

リサーチクエスチョン

• RQ1 出版物の引用ネットワークのみを用いて、ネットワークフロー法が効果的にデータセットに信頼性を割り当てられるか。
• RQ2 陳腐化およびフロー伝播の観点から、データセットの引用動態は出版物とどのように異なるか。
• RQ3 DataRankは、Web閲覧数やダウンロード数といった実世界のデータセット利用状況をどの程度正確に予測できるか。
• RQ4 DataRankは、他の引用ベースのデータセット順位付け手法と比較して、予測精度が優れているか。
• RQ5 本手法は、引用行動の変更を要せず、より公平な科学的インパクト評価を支援できるか。

主な発見

• DataRankは、GenBankの配列へのWeb閲覧数やFigshareデータセットのダウンロード数といった実際のデータセット利用状況を予測する際、他の手法を上回る性能を示した。
• アルゴリズムは、特に陳腐化レートの観点から、出版物とは異なる特徴的なデータセットの引用動態を的確に捉えている。
• 引用データが限られている状況（ネットワーク内に発見されたGenBankレコードが693件、Figshareデータセットが355件）でも、DataRankは意味のある予測性能を達成した。
• 本手法は、データセットの相対的影響を反映する解釈可能なスコアを提供し、データ集約型科学における影響評価の基盤を提供する。
• 明示的な引用を必要としないため、DataRankはデジタル科学的対象への信頼性の割り当てに実用的なツールである。
• 本研究では、引用習慣が不完全であっても、ネットワークベースの推論を用いてデータセットの影響を体系的に評価できることが示された。