[论文解读] Efficient filtering of adult content using textual information

Thomas Largillier, Guillaume Peyronnet+1 more|arXiv (Cornell University)|Dec 1, 2015

Web Data Mining and Analysis参考文献 4被引用 4

一句话总结

本文提出一种基于文本的过滤方法，利用决策森林构建无成人内容的搜索引擎索引，在测试数据集上实现了97.22%的准确率和97.85%的召回率。该方法仅依赖文本内容和URL特征，通过从索引中彻底移除大多数此类网站而非仅标记它们，有效减少了成人内容的暴露。

ABSTRACT

Nowadays adult content represents a non negligible proportion of the Web content. It is of the utmost importance to protect children from this content. Search engines, as an entry point for Web navigation are ideally placed to deal with this issue. In this paper, we propose a method that builds a safe index i.e. adult-content free for search engines. This method is based on a filter that uses only textual information from the web page and the associated URL.

研究动机与目标

• 开发一种构建无成人内容搜索引擎索引的方法，而非依赖可选的安全搜索功能。
• 通过主动将成人网站从搜索结果中排除，提升网络环境对儿童的安全性。
• 评估纯文本特征（如词频、URL结构和元数据）在检测成人内容方面的有效性。
• 在确保高召回率的同时最小化误报，即使在成人内容缺乏明确文本标记的情况下也能有效识别。

提出的方法

• 该方法采用基于决策森林的监督机器学习流程，利用从网页和URL中提取的36个文本和结构属性进行训练。
• 关键属性包括英文成人词汇比例（ratio_wen）、法语成人术语占比（prop_wfr）、基于URL的特征（IN-URL、ratio_brand），以及图像数量和标签频率等结构元素。
• 通过所有决策树的多数投票确定最终分类结果，并可调节阈值以平衡敏感度与特异度。
• 过滤器仅使用文本和基于URL的特征，不包含图像或视频分析，以保持处理速度和可扩展性。
• 系统设计为从索引中完全移除成人网站，从而降低其PageRank并最小化在搜索结果中的可见性。
• 还考虑了TLD检查、免责声明检测和黑名单更新等附加机制，以进一步提升性能。

实验结果

研究问题

• RQ1 纯文本过滤系统能否在识别并排除搜索引擎索引中的成人内容方面实现高准确率？
• RQ2 在不依赖图像或视频分析的情况下，基于URL的特征和词频模式在检测成人内容方面的有效性如何？
• RQ3 从索引中移除成人网站对它们在搜索结果中的可见性和排名有何影响？
• RQ4 不同文本特征（如语言特定的成人词汇比例和标签使用情况）对分类性能的贡献如何？

主要发现

• 在包含1,153个网页（其中839个为成人内容，314个为安全页面）的测试集中，该过滤器实现了97.22%的准确率、97.85%的召回率和98.32%的精确率。
• 漏检率仅为2.15%，表明系统成功识别了绝大多数成人内容。
• 误报主要出现在文本内容极少的视频流媒体网站（如Beeg），这些网站缺乏明确的成人关键词。
• 讨论论坛中非显性区域存在轻微明确内容的页面也检测效果较差，但这类内容仅占成人内容的少数。
• IN-URL、ratio_brand和ratio_queries等属性在超过70%的分类中被使用，凸显了URL结构在检测中的重要性。
• 该方法完全依赖文本内容即已足够应对97.22%的案例，证明非视觉特征在成人内容过滤中具有高度有效性。