[논문 리뷰] Why we need an independent index of the Web

Dirk Lewandowski|arXiv (Cornell University)|2014. 05. 09.

Census and Population Estimation인용 수 9

한 줄 요약

이 논문은 웹 검색의 진정한 다양성을 달성하기 위해서는 기업의 독점적 인덱싱이 초래하는 진입 장벽을 극복하기 위해 독립적이고 공공이 접근할 수 있는 웹 인덱스가 필요하다고 주장한다. 주요 검색 엔진이 독점적으로 웹을 인덱싱하고 있기에 신규 진입자가 존재하기 어려운 상황이므로, 콘텐츠 인덱싱과 검색 서비스를 분리함으로써 새로운 진입자가 중립적인 기반 위에서 검색 엔진을 구축할 수 있도록 해야 하며, 이는 검색 생태계 내 혁신과 경쟁을 촉진한다.

ABSTRACT

The path to greater diversity, as we have seen, cannot be achieved by merely hoping for a new search engine nor will government support for a single alternative achieve this goal. What is instead required is to create the conditions that will make establishing such a search engine possible in the first place. I describe how building and maintaining a proprietary index is the greatest deterrent to such an undertaking. We must first overcome this obstacle. Doing so will still not solve the problem of the lack of diversity in the search engine marketplace. But it may establish the conditions necessary to achieve that desired end.

연구 동기 및 목표

• 기존에 몇몇 거대 기업이 지배하는 웹 검색 시장의 다원성 부족 문제를 해결하기 위해.
• 신규 검색 엔진의 출현을 방해하는 주요 장애 요인으로 기업의 웹 인덱싱 독점화를 특정하기 위해.
• 시장의 다원성 실현을 위한 초석이 되는 중립적이고 독립적인 인덱스 구축을 주장하기 위해.
• 신규 검색 엔진 스타트업이 시장에 진입할 수 있도록 하는 조건을 설정하기 위해.
• 공개된 웹 콘텐츠 인덱싱 접근을 통해 장기적인 혁신과 사용자 선택권을 증진하기 위해.

제안 방법

• 상업적 검색 엔진과는 독립된 공공이 유지하는 개방형 웹 인덱스 개발을 제안한다.
• 이러한 인덱스가 상업적 편향과 기업의 독점적 통제에서 자유로워야 한다고 강조한다.
• 인덱스가 공공 또는 비영리 기구의 거버넌스를 통해 구축되고 유지되어야 한다고 권고한다.
• 모든 개발자와 연구자가 공정한 경쟁을 위해 인덱스에 접근할 수 있도록 해야 한다고 제안한다.
• 웹 크롤링과 인덱싱이라는 고비용이고 독점적인 작업에서 검색 엔진 혁신을 분리하는 모델을 주장한다.
• 이러한 인덱스의 지속 가능성과 중립성을 뒷받침하는 정책 및 기술 프레임워크를 마련할 것을 촉구한다.

실험 결과

연구 질문

• RQ1 어떤 구조적 장애 요인이 신규 검색 엔진의 시장 진입을 방해하는가?
• RQ2 기존 검색 엔진의 지배적 지위를 공고히 하는 웹 인덱싱의 기업적 독점 제어 방식은 무엇인가?
• RQ3 신규 독립형 검색 엔진을 구축하기 위해 필요한 조건은 무엇인가?
• RQ4 개방적이고 중립적인 웹 인덱스는 검색 기술 분야의 다양성과 혁신을 어떻게 촉진할 수 있는가?
• RQ5 공적 또는 비영리 기관은 지속 가능한 독립적 웹 인덱스를 유지하기 위해 어떤 역할을 할 수 있는가?

주요 결과

• 기업의 독점적 인덱싱이 신규 검색 엔진 진입의 주요 장애 요소이며, 이는 막대한 인프라와 데이터 수집이 필요하기 때문이다.
• 신규 검색 엔진의 출현을 기대하거나 정부 지원에 의존하는 것만으로는 시장 집중 문제를 해결할 수 없다.
• 독립적이고 공공이 접근 가능한 웹 인덱스는 새로운 검색 엔진 개발을 가능하게 하기 위한 필수 전제 조건이다.
• 이러한 인덱스를 구축한다고 해서 즉각적인 다원성이 보장되지는 않지만, 다원성을 실현할 수 있는 조건을 마련한다.
• 인덱싱을 검색 서비스에서 분리함으로써 웹 크롤링 과정을 다시 설계하지 않아도 검색 알고리즘과 사용자 경험 분야의 혁신이 가능해진다.
• 중립적인 인덱스는 더 경쟁적이고 다양한 검색 생태계의 기반을 제공할 수 있다.