[论文解读] Decentralized Search on Decentralized Web

Ziliang Lai, Chris Liu+3 more|arXiv (Cornell University)|Aug 18, 2018

Caching and Content Delivery参考文献 6被引用 4

一句话总结

该论文提出QueenBee，这是首个专为去中心化网络（DWeb）设计的去中心化搜索引擎，通过基于区块链的智能合约系统，消除集中式爬取机制，激励内容提供者和对等节点参与。它利用加密货币奖励（‘蜂蜜’）维持新鲜的索引并确保通过同行参与实现的安全排名，从而构建一个无需信任、抗审查的搜索生态系统。

ABSTRACT

Decentralized Web, or DWeb, is envisioned as a promising future of the Web. Being decentralized, there are no dedicated web servers in DWeb; Devices that retrieve web contents also serve their cached data to peer devices with straight privacy-preserving mechanisms. The fact that contents in DWeb are distributed, replicated, and decentralized lead to a number of key advantages over the conventional web. These include better resiliency against network partitioning and distributed-denial-of-service attacks (DDoS), and better browsing experiences in terms of shorter latency and higher throughput. Moreover, DWeb provides tamper-proof contents because each content piece is uniquely identified by a cryptographic hash. DWeb also clicks well with future Internet architectures, such as Named Data Networking (NDN).Search engines have been an inseparable element of the Web. Contemporary ("Web 2.0") search engines, however, provide centralized services. They are thus subject to DDoS attacks, insider threat, and ethical issues like search bias and censorship. As the web moves from being centralized to being decentralized, search engines ought to follow. We propose QueenBee, a decentralized search engine for DWeb. QueenBee is so named because worker bees and honeycomb are a common metaphor for distributed architectures, with the queen being the one that holds the colony together. QueenBee aims to revolutionize the search engine business model by offering incentives to both content providers and peers that participate in QueenBee's page indexing and ranking operations.

研究动机与目标

• 解决集中式搜索引擎的局限性，包括审查、搜索偏差，以及对DDoS和内部人员攻击的脆弱性。
• 实现一个去中心化、保护隐私的搜索基础设施，符合去中心化网络（DWeb）的原则。
• 设计一个自我治理、基于激励的生态系统，使内容提供者和对等节点因参与索引与排名而获得奖励。
• 通过密码学和经济机制，缓解去中心化系统固有的风险，如共谋攻击和网络爬取攻击。
• 开创一种新型搜索模型，与IPFS和命名数据网络（NDN）等新兴协议实现集成。

提出的方法

• QueenBee利用部署在区块链（如以太坊）上的智能合约，自主管理索引、排名和奖励分发。
• 内容提供者通过智能合约直接发布或更新内容，以获得‘蜂蜜’——一种原生加密货币代币作为激励。
• 对等节点（工蜂）因维护去中心化索引并使用存储在IPFS中的数据计算网页排名而获得奖励。
• 搜索查询通过DWeb托管的HTML+JavaScript前端提交，通过交叉匹配倒排列表并排序生成结果。
• 广告商直接与智能合约交互，广告收入根据性能指标在内容创作者和工蜂之间分配。
• 系统通过使用密码学哈希唯一标识内容，确保数据完整性和防篡改性，与DWeb原则保持一致。

实验结果

研究问题

• RQ1 如何在无集中式爬取的情况下，维持去中心化搜索引擎的索引新鲜度与相关性？
• RQ2 在无信任环境中，何种激励机制可公平奖励内容提供者和对等节点对索引与排名的贡献？
• RQ3 系统如何抵御多个对等节点恶意共谋操纵索引或排名数据的共谋攻击？
• RQ4 需要何种经济与密码学防护措施，以防止模仿热门内容的网络爬取攻击，从而骗取奖励？
• RQ5 去中心化搜索如何在保障隐私、防止审查的同时实现安全可扩展？

主要发现

• QueenBee是首个已知在去中心化网络上实现去中心化搜索引擎的项目，用直接内容发布激励替代传统爬取机制。
• 系统通过基于区块链的智能合约实现无信任操作，自动执行奖励分发与治理。
• 通过消除集中式索引，QueenBee增强了对DDoS攻击的弹性，提高了抗审查与搜索偏差的能力。
• 激励模型根据参与度与贡献度，公平奖励内容创作者与对等节点，促进生态系统的长期可持续发展。
• 该架构支持与去中心化存储（如IPFS）以及命名数据网络（NDN）等未来互联网架构的集成。
• 本文识别出新型攻击向量，如工蜂之间的共谋与对热门内容的网络爬取，强调了实施稳健经济与密码学防护机制的必要性。