[논문 리뷰] Decentralized Search on Decentralized Web

Ziliang Lai, Chris Liu외 3명|arXiv (Cornell University)|2018. 08. 18.

Caching and Content Delivery참고 문헌 6인용 수 4

한 줄 요약

이 논문은 탈중앙화된 웹(DWeb)을 위한 첫 번째 탈중앙화된 검색 엔진인 QueenBee를 제안한다. 이는 중앙집중화된 크롤링을 제거하고,ブロック체인 기반 스마트 계약 시스템을 통해 콘텐츠 제공자와 피어 노드를 인cent라이징함으로써 작동한다. 암호화폐 보상('허니')을 통해 색인의 최신성과 피어 참여를 통한 순위 보장을 달성하여, 신뢰할 수 없음에도 불구하고 검열에 강건하고 공정한 검색 생태계를 실현한다.

ABSTRACT

Decentralized Web, or DWeb, is envisioned as a promising future of the Web. Being decentralized, there are no dedicated web servers in DWeb; Devices that retrieve web contents also serve their cached data to peer devices with straight privacy-preserving mechanisms. The fact that contents in DWeb are distributed, replicated, and decentralized lead to a number of key advantages over the conventional web. These include better resiliency against network partitioning and distributed-denial-of-service attacks (DDoS), and better browsing experiences in terms of shorter latency and higher throughput. Moreover, DWeb provides tamper-proof contents because each content piece is uniquely identified by a cryptographic hash. DWeb also clicks well with future Internet architectures, such as Named Data Networking (NDN).Search engines have been an inseparable element of the Web. Contemporary ("Web 2.0") search engines, however, provide centralized services. They are thus subject to DDoS attacks, insider threat, and ethical issues like search bias and censorship. As the web moves from being centralized to being decentralized, search engines ought to follow. We propose QueenBee, a decentralized search engine for DWeb. QueenBee is so named because worker bees and honeycomb are a common metaphor for distributed architectures, with the queen being the one that holds the colony together. QueenBee aims to revolutionize the search engine business model by offering incentives to both content providers and peers that participate in QueenBee's page indexing and ranking operations.

연구 동기 및 목표

• 중앙집중화된 검색 엔진의 한계, 즉 검열, 검색 편향, DDoS 공격 및 내부자 공격에 대한 취약성 해결을 위한 것이다.
• 탈중앙화되고 개인정보 보호가 보장되는 검색 인fra를 제공하여 탈중앙화된 웹(DWeb)의 원칙과 부합시키기 위한 것이다.
• 콘텐츠 제공자와 피어 노드가 색인 및 순위에 기여함으로써 보상을 받는 자율적이고 인센티브 기반의 생태계를 설계하기 위한 것이다.
• 공동 작업자 간의 공모 및 스크래핑 공격과 같은 탈중앙화 시스템 내 잠재적 위험을 암호학적 및 경제적 메커니즘을 통해 완화하기 위한 것이다.
• IPFS 및 이름 기반 데이터 네트워킹(NDN)과 같은 새로운 프로토콜과 통합 가능한 새로운 검색 모델을 선도하기 위한 것이다.

제안 방법

• QueenBee는 이더리움과 같은 블록체인에 배포된 스마트 계약을 활용하여 색인, 순위 산정 및 보상 배분을 자동으로 운영한다.
• 콘텐츠 제공자는 스마트 계약을 통해 직접 콘텐츠를 게시하거나 업데이트하여 '허니'—내부 암호화폐 토큰—를 수령한다.
• 피어 노드(워커 비즈)는 IPFS에 저장된 데이터를 사용하여 탈중앙화된 색인을 유지하고 페이지 랭킹을 계산함으로써 보상을 받는다.
• 검색 쿼리는 DWeb 호스팅된 HTML+JavaScript 프론트엔드를 통해 제출되며, 이는 역색인 목록을 교차하여 결과를 구성하고 순위를 매긴다.
• 광고주들은 스마트 계약과 직접 상호작용하며, 광고 수익은 성과 지표에 따라 콘텐츠 창작자와 워커 비즈 간에 공유된다.
• 콘텐츠를 고유하게 식별하기 위해 암호학적 해시를 사용함으로써 데이터 무결성과 변조 방지 기능을 확보하여 DWeb 원칙과 일치시킨다.

실험 결과

연구 질문

• RQ1 중앙집중화된 크롤링 없이도 탈중앙화된 검색 엔진이 색인의 최신성과 관련성을 유지할 수 있는가?
• RQ2 신뢰할 수 없는 환경에서 색인 및 순위에 기여한 콘텐츠 제공자와 피어 노드를 공정하게 보상할 수 있는 인센티브 메커니즘은 무엇인가?
• RQ3 여러 개의 피어가 악의적으로 색인 또는 순위 데이터를 조작하는 공모 공격을 방어할 수 있는가?
• RQ4 유명한 콘텐츠를 모방하여 보상을 획득하려는 스크래핑 공격을 방지하기 위해 필요한 경제적 및 암호학적 보호 조치는 무엇인가?
• RQ5 개인정보 보호를 유지하면서도 검열을 방지하고 안정적으로 확장 가능한 탈중앙화된 검색은 어떻게 설계할 수 있는가?

주요 결과

• QueenBee는 탈중앙화된 웹에서 전통적인 크롤링을 대체하는 탈중앙화된 검색 엔진을 구현한 것으로 알려진 첫 번째 시도이다.
• 블록체인 기반 스마트 계약을 통해 보상 배분 및 거버넌스를 자동화함으로써 시스템은 완전히 신뢰할 수 없는 환경에서 운영된다.
• 중앙집중화된 색인을 제거함으로써 DDoS 공격에 대한 내구성이 향상되고, 검열 및 검색 편향에 대한 저항력이 강화된다.
• 참여도와 기여도에 기반하여 콘텐츠 창작자와 피어 노드 모두에게 보상을 제공하는 인센티브 모델은 생태계의 장기적 지속 가능성을 촉진한다.
• 시스템 아키텍처는 탈중앙화된 스토리지(예: IPFS) 및 향후 인터넷 아키텍처인 이름 기반 데이터 네트워킹(NDN)과의 통합을 지원한다.
• 논문은 워커 비즈 간의 공모 및 유명 콘텐츠 스크래핑과 같은 새로운 공격 벡터를 규명하며, 강력한 경제적 및 암호학적 보호 조치의 필요성을 강조한다.