[論文レビュー] Exposing and harvesting metadata using the OAI metadata harvesting protocol: A tutorial

Simeon Warner|arXiv (Cornell University)|Jun 28, 2001

Semantic Web and Ontologies被引用数 13

ひとこと要約

このチュートリアルでは、XMLでエンコードされたリクエストを使用して、HTTPベースの標準化された方法として、メタデータをリポジトリからハーベストするためのオープンアーカイブイニシャチブメタデータハーベスティングプロトコル（OAI-PMH）を提示する。Perlのコード例を通じて、データプロバイダーおよびサービスプロバイダーの両方の実装を実践的に示し、メタデータのみの交換、日付スタンプとリジュームトークンを用いたインクリメンタルハーベスティング、および多様なデジタルリポジトリ間での相互運用可能でコミュニティ主導のメタデータ共有を可能にするプロトコルの役割を強調する。

ABSTRACT

In this article I outline the ideas behind the Open Archives Initiative metadata harvesting protocol (OAIMH), and attempt to clarify some common misconceptions. I then consider how the OAIMH protocol can be used to expose and harvest metadata. Perl code examples are given as practical illustration.

研究の動機と目的

• OAI-PMHについての誤解を解き、特に全コンテンツ文書を転送するのではなくメタデータのみを対象としていることの明確化。
• OAI-PMHのコアモデルを、データプロバイダーとサービスプロバイダー間でのメタデータハーベスティングを目的としたプルベースのクライアント・サーバー・プロトコルとして説明すること。
• Perlを用いたOAI-PMHの実装を実践的に示し、ハーベスティング（サービスプロバイダー）および公開（データプロバイダー）の両方の側面で動作するコードを提供すること。
• 日付スタンプによるインクリメンタルハーベスティング、大規模な結果セットの処理に用いるリジュームトークン、およびダブリン・コアを含む複数のメタデータフォーマットのサポートといった、プロトコルの主要な特徴を強調すること。
• 初期採用者の経験とシステムの安定性に基づき、oai-implementersメーリングリストを通じた責任ある使用とコミュニティからのフィードバックを促すこと。

提案手法

• HTTP GETおよびPOSTメソッドを用い、リクエストにボイド（例：ListRecords、GetRecord）とパラメータをURLまたはメッセージ本文にエンコードしてOAI-PMHリクエストを送信する。
• サーバーサイドスクリプト（oai1.pl）とカスタムモジュール（OAIServer.pm）を実装し、XMLレスポンスを用いてOAI-PMHリクエストに応答するデータプロバイダー機能を実装する。
• HTTPを用いてデータプロバイダーからメタデータをリクエストするハーベスタークライアント（oaiharvest.pl）を構築し、OAIParser.pmを用いてレスポンスを解析し、HTTPステータスコードを用いたフロー制御を実装する。
• 大規模な結果セットを管理するためにリジュームトークンを活用し、部分的ハーベスティングおよび中断・長時間実行のハーベスティングを再開可能にする。
• 日付スタンプをYYYY-MM-DD形式で使用し、インクリメンタルハーベスティングを可能にし、サービスプロバイダーが前回のハーベスティング以降に変更されたレコードのみを取得できるようにする。
• metadataPrefixパラメータを用いて複数のメタデータフォーマットをサポートし、ダブリン・コアをデフォルトとして、コミュニティ固有のフォーマットをオプションの拡張として提供する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、全コンテンツ文書の転送を行わず、多様なデジタルリポジトリ間で標準的かつ相互運用可能な方法でメタデータを公開およびハーベストできるか？
• RQ2 OAI-PMHは、インクリメンタルハーベスティングと大規模なメタデータセットの効率的処理を支援するためのどのようなメカニズムを提供するか？
• RQ3 特に負荷やレート制限の下で、複数のデータプロバイダーからハーベスティングを行う際、サービスプロバイダーはどのようにフロー制御とエラー処理を管理するか？
• RQ4 リジュームトークンと日付スタンプは、スケーラブルで信頼性が高く、インクリメンタルなメタデータハーベスティングを可能にするために果たす役割は何か？
• RQ5 実装者は、Perlを用いた実用的で最小限のコード例を通じて、堅牢でプロダクション環境対応のOAI-PMHクライアントおよびサーバーをどのように構築できるか？

主な発見

• OAI-PMHプロトコルは、公開リリース後5か月で30の登録リポジトリが、60万件を超えるメタデータレコードを公開し、メタデータハーベスティングを成功裏に実現した。
• プロトコルは、YYYY-MM-DD形式の日付スタンプを用いたインクリメンタルハーベスティングをサポートし、サービスプロバイダーが前回のハーベスティング以降に変更されたレコードのみを取得できるようにする。
• リジュームトークンにより、大規模な結果セットを管理可能なチャンクに分割し、特定のポイントから再開できるメカニズムがプロトコルで規定されている。
• サービスプロバイダーは、サーバー負荷やレート制限を管理するために、HTTPステータスコード503（サービス利用不可）にretry-afterヘッダー（例：arXivの60秒の遅延）や302リダイレクト（例：NACAの負荷分散）を活用できる。
• プロトコルはメタデータのみの交換を目的として設計されており、全コンテンツの転送はサポートしない。この区別は、プロトコルの範囲を誤解しないようにする上で極めて重要である。
• Perlと標準CPANモジュールを用いた実装は実現可能であり、データプロバイダーおよびサービスプロバイダーの両方の役割を示す動作例が提供されている。また、初期採用者のフィードバックが今後のプロトコル進化を形づくる。