[論文レビュー] Relevance distributions across Bradford Zones: Can Bradfordizing improve search?

Philipp Mayr|arXiv (Cornell University)|May 2, 2013

Advanced Text Analysis Techniques参考文献 17被引用数 11

ひとこと要約

本稿は、文書をコア（ゾーン1）と周辺領域（ゾーン2およびゾーン3）に再順序付ける文献計測的手法「ブラッドフォード化」が、情報検索における関連性の向上に寄与するかを評価している。複数の学術分野にまたがる164の標準化されたトピックを用いて、ブラッドフォード化によりコアゾーンにおける平均精度がベースラインおよび周辺領域と比較して顕著に向上することを示しており、A&Iデータベースにおける非テクスト的再順序付け手法としての有効性を裏付けている。

ABSTRACT

The purpose of this paper is to describe the evaluation of the effectiveness of the bibliometric technique Bradfordizing in an information retrieval (IR) scenario. Bradfordizing is used to re-rank topical document sets from conventional abstracting & indexing (A&I) databases into core and more peripheral document zones. Bradfordized lists of journal articles and monographs will be tested in a controlled scenario consisting of different A&I databases from social and political sciences, economics, psychology and medical science, 164 standardized IR topics and intellectual assessments of the listed documents. Does Bradfordizing improve the ratio of relevant documents in the first third (core) compared to the second and last third (zone 2 and zone 3, respectively)? The IR tests show that relevance distributions after re-ranking improve at a significant level if documents in the core are compared with documents in the succeeding zones. After Bradfordizing of document pools, the core has a significant better average precision than zone 2, zone 3 and baseline. This paper should be seen as an argument in favour of alternative non-textual (bibliometric) re-ranking methods which can be simply applied in text-based retrieval systems and in particular in A&I databases.

研究の動機と目的

• ブラッドフォード化が、順位付けされた文書リストの最初の3分の1（コア）における関連文書の割合を向上させるかを評価すること。
• テクスト特徴に依存せずに、文献計測的再順序付けが検索精度を向上させる有効性を評価すること。
• ブラッドフォード化後のコアゾーンが、多様な学術分野にわたる関連性分布において、ベースラインおよび周辺ゾーンを上回るかを検証すること。
• テキストベースの検索システムに非テクスト的で文献計測的な手法を統合するための実証的証拠を提供すること。

提案手法

• 社会学、経済学、心理学、医学分野にまたがる164の標準化された情報検索トピックから、A&Iデータベースの文書を収集した。
• ブラッドフォード化プロセスにより、引用頻度およびジャーナルインパクトに基づき、学術論文および単行本を3つのゾーンに再順序付けし、コア（ゾーン1）と2つの周辺ゾーン（ゾーン2およびゾーン3）を形成した。
• 関連性評価は、分野の専門家による文書の知的評価を通じて実施され、関連性スコアが付与された。
• 各ゾーンごとに平均精度を算出し、コア（ゾーン1）、ゾーン2、ゾーン3、およびベースライン（再順序付けなし）のリストと比較した。
• ゾーン間およびベースラインとの関連性分布の差に統計的有意性があるかを検証した。
• 一貫したトピックセットおよび関連性判断を用いた制御された実験設定を採用した。

実験結果

リサーチクエスチョン

• RQ1 ブラッドフォード化により、文書リストの最初の3分の1（コアゾーン）の平均精度が、2番目および3番目の3分の1（ゾーン2およびゾーン3）と比較して顕著に向上するか？
• RQ2 ジャーナルインパクトおよび引用頻度に基づく文献計測的再順序付けが、テキストベースの情報検索システムにおける検索効果を向上させられるか？
• RQ3 ブラッドフォード化後の関連性分布の改善が、複数の学術分野にわたって統計的に有意であるか？
• RQ4 コアゾーンにおける関連性分布は、ベースライン（再順序付けなし）のリストと比較して平均精度の観点でどのように異なるか？

主な発見

• ブラッドフォード化後、全テスト分野においてコアゾーン（ゾーン1）の平均精度が、ゾーン2およびゾーン3の両者よりも顕著に高いことが確認された。
• コアゾーンはベースラインの検索リストを平均精度の観点で上回っており、ブラッドフォード化が検索効果を向上させることを示している。
• コアゾーンにおける平均精度の向上は統計的に有意であり、本手法の信頼性を裏付けている。
• ゾーン間の関連性分布は、ゾーン1からゾーン3へと明確に精度が低下する傾向を示しており、情報検索文脈におけるブラッドフォードゾーンモデルの妥当性を確認した。
• 非テクスト的で文献計測的な再順序付けが、テキストベースのインデクシングや検索アルゴリズムを変更せずに、検索パフォーマンスの向上に寄与できる可能性がある。