[論文レビュー] Why we need an independent index of the Web

Dirk Lewandowski|arXiv (Cornell University)|May 9, 2014

Census and Population Estimation被引用数 9

ひとこと要約

この論文は、主な検索エンジンによる独占的インデックス化が新規参入の障壁を生み出すため、真のウェブ検索の多様性を実現するには、独立した公開アクセス可能なウェブインデックスが必要であると主張している。検索サービスとコンテンツインデックスの分離により、新規参入者が中立的な基盤の上に検索エンジンを構築できるようになり、検索エコシステムにおけるイノベーションと競争が促進される。

ABSTRACT

The path to greater diversity, as we have seen, cannot be achieved by merely hoping for a new search engine nor will government support for a single alternative achieve this goal. What is instead required is to create the conditions that will make establishing such a search engine possible in the first place. I describe how building and maintaining a proprietary index is the greatest deterrent to such an undertaking. We must first overcome this obstacle. Doing so will still not solve the problem of the lack of diversity in the search engine marketplace. But it may establish the conditions necessary to achieve that desired end.

研究の動機と目的

• 市場の大部分を占める少数の大手プレーヤーに支配されているウェブ検索市場における多様性の欠如に取り組む。
• 新規検索エンジンの登場を妨げる主な障壁として、ウェブインデックスの私的所有を特定する。
• 市場の多様化に向けた基盤として、中立的で独立したインデックスの創出を提唱する。
• 新規検索エンジンスタートアップが市場に参入可能な状況を整える。
• ウェブコンテンツインデックスへのオープンアクセスを通じて、長期的なイノベーションとユーザーの選択肢の拡大を促進する。

提案手法

• 商業的検索エンジンとは独立した、公開保守型のオープンウェブインデックスの開発を提言する。
• そのようなインデックスが商業的バイアスや私的所有から解放されたものでなければならないことを強調する。
• インデックスが公共または非営利のガバナンスによって構築および維持されるべきだと提言する。
• すべての開発者や研究者が公平な競争を実現できるように、インデックスへのアクセスを可能にするべきだと提言する。
• ウェブクローリングやインデックス作成という高コストで排他的な作業から、検索エンジンのイノベーションを分離するモデルを提唱する。
• そのようなインデックスの持続可能性と中立性を支えるための政策的・技術的枠組みを要請する。

実験結果

リサーチクエスチョン

• RQ1 何が新規検索エンジンの市場参入を妨げる構造的障壁となっているのか？
• RQ2 ウェブインデックスの私的所有が、既存の検索エンジンの支配をどのように固定化しているのか？
• RQ3 新しい独立した検索エンジンを創出可能にするために必要な条件は何か？
• RQ4 オープンで中立的なウェブインデックスは、検索技術分野における多様性とイノベーションをどのように促進できるのか？
• RQ5 公共または非営利機関は、持続可能な独立したウェブインデックスを維持するために果たせる役割は何か？

主な発見

• 私的所有によるインデックス化が、新規検索エンジン参入の主な障壁となっており、膨大なインfraストラクチャとデータ収集を要する。
• 新規検索エンジンの登場を期待するだけ、あるいは政府支援に依存するだけでは、市場集中の問題は解決しない。
• 独立した公開アクセス可能なウェブインデックスは、新規検索エンジン開発を可能にするための必須前提条件である。
• そのようなインデックスを構築しても、即座に多様性が実現されるわけではないが、多様性を実現するための条件を整える。
• インデックス作成と検索サービスの分離により、ウェブクローリングの再発明を回避しながら、検索アルゴリズムやユーザーエクスペリエンス分野でのイノベーションが可能になる。
• 中立的なインデックスは、より競争的で多様な検索エコシステムの基盤として機能できる。