[論文レビュー] Introducing LETOR 4.0 Datasets

Tao Qin, Tieyan Liu|arXiv (Cornell University)|Jun 9, 2013

Advanced Data Processing Techniques被引用数 199

ひとこと要約

LETOR 4.0 は、学習による順序付け研究のための新しいベンチマークデータセットを導入し、Gov2 ウェブコレクションおよび TREC クエリセット（MQ2007 および MQ2008）に基づいて構築されており、それぞれ約 1,700 個および約 800 個のクエリを有する。標準化された特徴量、関連性判断、データ分割、評価ツール、ベースラインを提供することで、過去のバージョンから大幅に刷新され、情報検索分野における高度な学習による順序付けの評価と開発を支援する。

ABSTRACT

LETOR is a package of benchmark data sets for research on LEarning TO Rank, which contains standard features, relevance judgments, data partitioning, evaluation tools, and several baselines. Version 1.0 was released in April 2007. Version 2.0 was released in Dec. 2007. Version 3.0 was released in Dec. 2008. This version, 4.0, was released in July 2009. Very different from previous versions (V3.0 is an update based on V2.0 and V2.0 is an update based on V1.0), LETOR4.0 is a totally new release. It uses the Gov2 web page collection (~25M pages) and two query sets from Million Query track of TREC 2007 and TREC 2008. We call the two query sets MQ2007 and MQ2008 for short. There are about 1700 queries in MQ2007 with labeled documents and about 800 queries in MQ2008 with labeled documents. If you have any questions or suggestions about the datasets, please kindly email us ([e-mail]). Our goal is to make the dataset reliable and useful for the community.

研究の動機と目的

• 情報検索分野における学習による順序付け研究のための、新しい包括的なベンチマークデータセットを提供すること。
• 大規模で現実世界のウェブデータを用いた順序付けアルゴリズムの高度な評価を支援すること。
• Gov2 コレクションおよび TREC クエリセットに基づいて完全に再設計されたデータセットを用いて、過去のバージョンを置き換えること。
• 標準化された特徴量、関連性判断、評価ツールを通じて、研究コミュニティにおける信頼性と使いやすさを確保すること。
• 学習による順序付けアルゴリズムの再現可能性の高い比較と、公平な比較を促進すること。

提案手法

• データセットは、約 2,500 万件のページを含む Gov2 ウェブページコレクションを基に構築されている。
• MQ2007 および MQ2008 の2つのクエリセットは、TREC 2007 および 2008 のミリオンクエリトラックから抽出されたものである。
• 各クエリに対して取得されたドキュメントの関連性判断が提供され、教師あり学習を可能にしている。
• 標準化されたデータ分割により、トレーニング、バリデーション、テストの各セットが明確に分離され、一貫性のある評価が可能になっている。
• 学習による順序付けモデルの構築を支援するため、ドキュメントおよびクエリから特徴量が抽出されている。
• 新しいアルゴリズムの直接比較を可能にするために、評価ツールおよびベースラインモデルが含まれている。

実験結果

リサーチクエスチョン

• RQ1 大規模なウェブコレクションにおいて、異なるクエリセットにおける学習による順序付けモデルの性能はどのように変化するか？
• RQ2 標準化されたベンチマークデータセットは、学習による順序付け研究における再現性と公平性を向上させることができるか？
• RQ3 Gov2 コレクションおよび TREC クエリセットのどのような特徴が、ベンチマークに適していると考えられるか？
• RQ4 異なる特徴表現およびモデルアーキテクチャは、この新しいデータセットでどのように性能を発揮するか？
• RQ5 この新しいデータセットは、高度な順序付けアルゴリズムの開発および評価をどの程度まで支援できるか？

主な発見

• LETOR 4.0 は、MQ2007 で約 1,700 個、MQ2008 で約 800 個のクエリを有し、それぞれ関連性判断済みのドキュメントを備えた大規模で標準化されたデータセットを提供している。
• データセットは Gov2 ウェブコレクションに基づいており、学習による順序付けシステムの現実的で包括的なテストベッドを提供している。
• 標準化された特徴量、データ分割、評価ツール、ベースラインモデルがリリースされており、一貫性のある評価を支援している。
• 過去のバージョンから大幅に再設計されており、後方互換性がないため、新鮮で信頼性の高いベンチマークを確保している。
• 著者らはコミュニティからのフィードバックを重視し、継続的な支援を通じてデータセットの信頼性と有用性を維持することを目的としている。
• データセットは公開されており、情報検索分野における学習による順序付け研究の前進を目的としている。