[論文レビュー] Evaluation of the citation matching algorithms of CWTS and iFQ in comparison to Web of Science

Marlies Olensky, Marion Schmidt+1 more|arXiv (Cornell University)|Jul 12, 2015

Biomedical Text Mining and Ontologies被引用数 21

ひとこと要約

本研究では、手動で検証されたコーパスを用いて、CWTSおよびiFQの引用照合アルゴリズムをWeb of Science (WoS)と比較し、引用参照に存在する誤りを効果的に是正する能力を評価した。CWTSのアルゴリズムが最も優れた性能を示し（F1: 96.41%）、それに次いでiFQが続くが、WoSは引用参照に誤りが含まれる場合に顕著な欠陥を示し、文献計測研究における堅牢な照合の重要性を浮き彫りにした。

ABSTRACT

The results of bibliometric studies provided by bibliometric research groups, e.g. the Centre for Science and Technology Studies (CWTS) and the Institute for Research Information and Quality Assurance (iFQ), are often used in the process of research assessment. Their databases use Web of Science (WoS) citation data, which they match according to their own matching algorithms - in the case of CWTS for standard usage in their studies and in the case of iFQ on an experimental basis. Since the problem of non-matched citations in WoS persists because of inaccuracies in the references or inaccuracies introduced in the data extraction process, it is important to ascertain how well these inaccuracies are rectified in these citation matching algorithms. This paper evaluates the algorithms of CWTS and iFQ in comparison to WoS in a quantitative and a qualitative analysis. The analysis builds upon the methodology and the manually verified corpus of a previous study. The algorithm of CWTS performs best, closely followed by that of iFQ. The WoS algorithm still performs quite well (F1 score: 96.41 percent), but shows deficits in matching references containing inaccuracies. An additional problem is posed by incorrectly provided cited reference information in source articles by WoS.

研究の動機と目的

• Web of Science (WoS) からの引用参照に存在する誤りを是正するための、CWTSおよびiFQが使用する引用照合アルゴリズムの性能を評価すること。
• 特に、出典参照に誤りが含まれる場合に、Web of Science自体の引用照合プロセスに見られる体系的な弱みを特定すること。
• 手動で検証された参照コーパスを用いて、CWTSおよびiFQのアルゴリズムがWoSに対して、精度、再現率、F1スコアという観点でどれほど効果的に機能するかを比較すること。
• データ抽出または参照入力中に生じる現実世界の引用エラーを各システムがどのように処理するかを評価すること。
• 研究評価の文脈における、これらのシステムから得られる文献計測データの信頼性について、実証的証拠を提供すること。

提案手法

• 評価の基準としての地面真理を提供するために、過去の研究から得た引用ペアの手動検証コーパスを用いた。
• 同じ参照セットに対して、CWTS、iFQ、およびWeb of Scienceの引用照合アルゴリズムを適用し、照合結果を比較した。
• 各システムのパフォーマンスを評価するため、標準的な情報検索指標（精度、再現率、F1スコア）を算出した。
• F1スコアを用いた定量的分析に加え、照合エラーおよびパターンの定性的な評価も実施した。
• 誤りが含まれる引用参照（例：欠落または誤った著者、題名、DOI）を対象とし、誤り是正能力を評価した。
• 結果の一貫性と比較可能性を確保するため、過去の研究と同一の評価フレームワークを用いた。

実験結果

リサーチクエスチョン

• RQ1 手動で検証された引用コーパスにおいて、CWTSおよびiFQの引用照合アルゴリズムは、Web of Scienceと比較してF1スコアでどの程度優れているか？
• RQ2 CWTSおよびiFQは、Web of Scienceの参照データに存在する引用誤りをどの程度是正できるか？
• RQ3 各システムのアルゴリズムが、最も頻繁に誤分類されたり、見逃されたりする引用エラーの種別は何か？
• RQ4 Web of Science自体の照合アルゴリズムは、誤ったまたは不完全な引用参照情報に直面した際に信頼性を持って機能するか？
• RQ5 CWTSおよびiFQのパフォーマンス特性は、複雑または曖昧な引用形式を処理する際、どのように異なるか？

主な発見

• CWTSの引用照合アルゴリズムは、F1スコア96.41%を達成し、最高のスコアを記録した。
• iFQのアルゴリズムはCWTSに次いで非常に近い性能を示し、引用誤りの是正能力が優れていることが示された。
• Web of Science自体のアルゴリズムは高いが完璧ではないF1スコア96.41%を記録したが、引用参照に誤りが含まれる場合には顕著な欠陥を示した。
• Web of Scienceの主な限界は、元の原著論文やデータ抽出段階で生じた誤りを効果的に是正できないことであった。
• 本研究では、引用照合アルゴリズムが、特に元データに誤りが含まれる場合に文献計測の正確性にとって不可欠であることが確認された。
• 結果から、研究評価の文脈において、CWTSおよびiFQはWeb of Scienceよりも、不完全な引用データを処理する上でより堅牢なソリューションを提供していると示唆された。