[論文レビュー] Initial Experiences Re-Exporting Duplicate and Similarity Computation with an OAI-PMH aggregator

Terry Harrison, Aravind Elango+2 more|ArXiv.org|Jan 5, 2004

Data Quality and Management参考文献 3被引用数 5

ひとこと要約

本稿では、ベクトル空間モデル（VSM）を用いてメタデータレコード間の類似スコアを再エクスポートするOAI-PMH準拠のアグリゲーターを提案している。これにより、重複レコードや関連レコードの検出が可能となる。3,751件のナサレコードを対象にプロトタイプを実装し、8時間未満で700万件の類似度計算を実施。1ペアあたりの平均類似度計算時間は0.0036秒であり、GetRecord応答のオプション要素＜about＞を通じて結果をエクスポートしている。

ABSTRACT

The proliferation of the Open Archive Initiative Protocol for Metadata Harvesting (OAI-PMH) has resulted in the creation of a large number of service providers, all harvesting from either data providers or aggregators. If data were available regarding the similarity of metadata records, service providers could track redundant records across harvests from multiple sources as well as provide additional end-user services. Due to the large number of metadata formats and the diverse mapping strategies employed by data providers, similarity calculation requirements necessitate the use of information retrieval strategies. We describe an OAI-PMH aggregator implementation that uses the optional ``'' container to re-export the results of similarity calculations. Metadata records (3751) were harvested from a NASA data provider and similarities for the records were computed. The results were useful for detecting duplicates, similarities and metadata errors.

研究の動機と目的

• OAI-PMHのハーベストにおいて、重複または類似するメタデータレコードを検出するためのツールの不足に対処すること。
• フィールドマッチングに依存せず、複数のデータソースにまたがる重複レコードをサービスプロバイダーが特定できるようにすること。
• 情報検索技術（例：VSM）を用いた類似度計算が、OAI-PMHメタデータにおいて実用的であることを示すこと。
• GetRecord応答におけるオプションの＜about＞コンテナを用いて、類似度データをOAI-PMH準拠を保ったまま拡張すること。
• 類似度ベースのサービス（例：レコメンデーションシステム、メタデータの重複除去）のスケーラブルな基盤を提供すること。

提案手法

• システムは、語句頻度と逆文書頻度（idf）に基づき、ベクトル空間モデル（VSM）を用いてメタデータレコード間のコサイン類似度を計算する。
• メタデータレコードは解析され、語句頻度はtf_metadataおよびweights_metadataディレクトリ配下の階層的ファイル構造に格納される。
• idf値は実行時において計算され、語句重みは保存され、新しいレコードが追加された際に再計算される。
• 類似度結果は678.1 MBのファイルに格納され（圧縮後98.7 MB）、1レコードあたりの上位10件の類似レコードがOAI-PMH GetRecord要求を通じてエクスポートされる。
• 類似度データは、OAI-PMH準拠を保証するためのカスタムXMLスキーマを用いて、オプションの＜about＞要素に埋め込まれる。
• 収集済みレコードはキャッシュされ、後続の計算でtf_metadataが再利用されるが、動的idf値のためweights_metadataは再計算される。

実験結果

リサーチクエスチョン

• RQ1 情報検索技術（例：VSM）は、OAI-PMHコレクションにおける重複および類似メタデータレコードを効果的に同定できるか？
• RQ2 大規模なOAI-PMHメタデータリポジトリにおいて、類似度計算はどの程度スケーリング可能か？
• RQ3 OAI-PMHは、＜about＞要素を介して類似度メタデータをネイティブにサポートできるか？ その際、準拠性が損なわれないか？
• RQ4 中規模のメタデータコレクションにおいて、ペアワイズ類似度計算の計算コストはどの程度か？
• RQ5 再エクスポートされた類似度データは、重複除去やレコメンデーションなどのエンドユーザー向けサービスを改善できるか？

主な発見

• 3,751件のナサメタデータレコード間で7,033,125件のペアワイズ類似度計算を7時間以上で実施。1回あたりの平均計算時間は0.0036秒であった。
• 類似度データ全体は678.1 MBのファイルに格納され（圧縮後98.7 MB）、類似度メタデータの効率的保存を示している。
• 収集済みレコード、語句頻度、語句重みのディスク使用量はそれぞれ15.2 MB、15.2 MB、17.3 MBであり、管理可能なストレージオーバーヘッドであることが示された。
• 現在のO(n²)アプローチを用いると、650万件のレコードの類似度計算に2,400年以上かかると推定され、スケーラビリティの課題が浮き彫りになった。
• 類似度結果を＜about＞コンテナ内に埋め込むことで、OAI-PMH準拠を保ったまま拡張が成功した。これによりクライアント側での類似度データの利用が可能になった。
• 各レコードの上位10件の類似レコードが正常にエクスポートされ、リンク作成やメタデータの重複除去などの後続アプリケーションに活用可能となった。