[論文レビュー] MIREX: MapReduce Information Retrieval Experiments

Djoerd Hiemstra, Claudia Hauff|arXiv (Cornell University)|Apr 26, 2010

Information Retrieval and Search Behavior参考文献 9被引用数 15

ひとこと要約

本稿では、マップリダスを用いて大規模な情報検索実験を簡素化する手法を提案している。分散クラスタ上でドキュメントコレクションを逐次スキャン可能にすることで、コーディング作業を軽減し、プロトタイピングを高速化する。15台のマシンから構成されるクラスタを用いて、0.5億件のウェブページを11時間で処理し、TREC並みの精度（上位5件での精度0.42）を達成。5,000件のクエリにスケーリングした際、単一ノードのLemurを上回るクエリスループットを実現した。

ABSTRACT

We propose to use MapReduce to quickly test new retrieval approaches on a cluster of machines by sequentially scanning all documents. We present a small case study in which we use a cluster of 15 low cost ma- chines to search a web crawl of 0.5 billion pages showing that sequential scanning is a viable approach to running large-scale information retrieval experiments with little effort. The code is available to other researchers at: http://mirex.sourceforge.net

研究の動機と目的

• Lemur や Terrier といったモノリシック検索システムへの統合を避けることで、新しい検索アルゴリズムを実装する際の時間的・複雑性の負担を軽減すること。
• アンカーテキストや全文解析など、インデックス化されていないドキュメント特徴を必要とする新しいランク関数の研究者が簡単に実験できるようにすること。
• マップリダスによる逐次スキャンが、実験的IR研究におけるインverted indexベースの検索と比較して実用的でスケーラブルかつ効率的な代替手段であることを示すこと。
• コンmodityクラスタ上で迅速にプロトタイピングが行えるオープンソースで軽量なフレームワークを提供すること。

提案手法

• マッパーは各ドキュメントを並列処理し、カスタム検索関数を用いてすべてのクエリに対してスコアリングするマップリダスパイプラインを採用する。
• 各ドキュメントに対して、(QueryID, (DocID, Score)) のペアを出力することで、全コレクションにわたる関連スコアの分散計算を可能にする。
• リデューサーは、サイズ1000の最小ヒープを維持することで、各クエリごとに上位1000件の結果を収集し、最高スコアのドキュメントのみを保持する。
• リデューサーはまた、シャッフル前のローカルでの結果フィルタリングにより、ネットワークオーバーヘッドを低減するコンビナトリとして機能する。
• Hadoopのネイティブなフェイルセーフ機能とロードバランシングを活用することで、カスタムインfrastrucureを必要とせず、コンmodityクラスタでも実行可能である。
• スコアリング関数の簡単な変更が可能であり、再インデキシングや複雑なシステム統合を必要としないため、段階的実験が可能になる。

実験結果

リサーチクエスチョン

• RQ1 マップリダスを用いた大規模ドキュメントコレクションの逐次スキャンは、実験的IR研究における従来のinverted indexベースの検索システムと比較して、実用的で効率的な代替手段となり得るか？
• RQ2 Lemur や Terrier といった既存システムへの統合と比較して、マップリダスを用いて新しい検索アプローチを実装する際の開発および実行時間はどの程度異なるか？
• RQ3 マップリダスベースのシステムの性能は、クエリ負荷の増加に伴いどの程度スケーリングするか。また、単一ノード版および分散版の既存システムと比較してどうなるか？
• RQ4 マップリダスベースの逐次スキャンは、標準TRECテストコレクションにおいて、競争力のある検索品質（例：平均精度の平均）を達成できるか？

主な発見

• マップリダスベースのシステムは、ClueWeb09データセットで上位5件での精度が0.42に達し、TREC 2009の上位ランクと同等の性能を示した。
• 0.5億件のページに対してアンカーテキスト抽出を実行したところ、15台のマシンクラスタで11時間で完了し、400 GBのインデックステキストが生成された。
• 前処理後、5,000件のクエリを処理するのに30分未満で完了し、平均して1クエリあたり1.6秒の応答時間であった。
• 50件のクエリに対しては単一ノードのLemurシステムより3.6倍遅かったが、クエリ負荷が増加するにつれてキャッシュと並列処理のおかげで、より高速に処理されるようになった。
• 完全なシステムのコードベースは350行にとどまり、Lemur や Terrier のようなシステムと比較して50万行を超えるものと比べて、著しい開発効率の向上を示した。
• システムの性能はクエリ数に対して準線形にスケーリングされ、キャッシュと並列クエリ処理のおかげで、大規模バッチ実験において非常に効率的であることがわかった。