[論文レビュー] Large scale citation matching using Apache Hadoop

Mateusz Fedoryszak, Dominika Tkaczyk+1 more|arXiv (Cornell University)|Mar 26, 2013

Semantic Web and Ontologies参考文献 18被引用数 4

ひとこと要約

この論文では、Apache Hadoop上で構築されたスケーラブルな引用照合システムを提示している。このシステムは、近似インデックスとMapReduceを用いて、大規模な学術的データセット全体にわたる引用文字列とその参照文献を効率的に照合する。トークンベースの類似度、3文字語群およびトークン照合、およびカスタムインデックスを用いたヒューリスティックなフィルタリング手法を活用することで、1200万件の引用文データセット上で高いパフォーマンスを達成し、4ノードのクラスタ上で照合時間を3時間未塔に短縮した。

ABSTRACT

During the process of citation matching links from bibliography entries to referenced publications are created. Such links are indicators of topical similarity between linked texts, are used in assessing the impact of the referenced document and improve navigation in the user interfaces of digital libraries. In this paper we present a citation matching method and show how to scale it up to handle great amounts of data using appropriate indexing and a MapReduce paradigm in the Hadoop environment.

研究の動機と目的

• 数百万件の引用文を含む大規模な学術的データセットへのスケーラビリティを確保する引用照合の課題に対処すること。
• Apache HadoopとMapReduceパラダイムを用いた分散処理による、効率的な引用文解決のためのスケーラブルで分散型のソリューションを設計すること。
• 正確性を損なわずにヒューリスティックな照合を高速化する近似インデックス戦略を開発すること。
• デジタル図書館、科学的指標分析、知識グラフ構築の分野における大規模な引用照合を可能にすること。

提案手法

• 42の特徴（文字クラス、標点、辞書照合、隣接トークンからの文脈など）を用いた条件付きランダムフィールド（CRF）を用いた引用文の解析。
• Jaccardに基づく類似度測定を用いて、著者、題名、学術誌、発行年などのメタデータ項目間の3文字語群およびトークン類似度を計算。
• トークン回転とMapReduceを用いた近似インデックスを活用したヒューリスティックな照合により、各引用文に対して候補文書の迅速な取得を実現。
• HadoopにおけるMapFile構造を用いてインデックスを格納・効率的に照合し、ソート済みのキーと高速なランダムアクセスを実現。
• 2段階のMapReduceパイプラインの実装：(1) 引用文抽出と候補文書の取得、(2) 類似度スコアリングとSVMおよび文字列メトリクスを用いた最良照合選択。
• インデックス構築はマップタスク（トークン抽出と回転生成）とリデュースタスク（トークンごとにグループ化し、SequenceFileに永続化）により実行。

実験結果

リサーチクエスチョン

• RQ1 分散環境において、数百万件の引用文を効率的に処理する引用照合はどのように実現できるか？
• RQ2 正確性を維持しつつ、高速な近似照合を可能にするインデックス戦略は何か？
• RQ3 ノイズが多く、多様な形式をとる引用文に対して、メタデータの解析と類似度計算をどのように最適化できるか？
• RQ4 HadoopのMapReduceモデルを用いることで、引用照合ワークロードにおいてどの程度のパフォーマンス向上が達成できるか？

主な発見

• システムは4ノードのHadoopクラスタを用いて、PMCオープンアクセスサブセットの1200万件を超える引用文を正常に処理した。
• インデックス構築は57秒で完了し、13のマップタスクと2のリデュースタスクを経て、並列処理の効率性を示した。
• ヒューリスティックな照合フェーズは、745のマップタスクを介して3時間1秒で実行され、検索空間の大幅な縮小が達成された。
• 最良照合選択は、996のマップタスクと1つのリデュースタスクを用いて2時間51分で実行され、高精度な結果が得られた。
• 全体の照合パイプラインは3時間未塔で完了し、Hadoopを用いた大規模引用照合の実現可能性が裏付けられた。
• トークン回転と近似インデックスの活用により、高リコールを維持しつつも、迅速な候補文書の取得が可能になった。