[論文レビュー] Efficient filtering of adult content using textual information

Thomas Largillier, Guillaume Peyronnet+1 more|arXiv (Cornell University)|Dec 1, 2015

Web Data Mining and Analysis参考文献 4被引用数 4

ひとこと要約

本稿では、意思決定森を用いたテキストベースのフィルタリング手法を提案し、アダルトコンテンツを含まない検索エンジンインデックスの構築を実現した。テストデータセットにおいて、97.22%の正確性と97.85%の再現率を達成した。このアプローチはテキストコンテンツおよびURL特徴にのみ依存しており、アダルトコンテンツの露出を効果的に低減するため、そのようなサイトをインデックスから完全に削除する仕組みを採用している。フィーチャーの分類ではなく、フィルタリングの対象としての分類に焦点を当てている。

ABSTRACT

Nowadays adult content represents a non negligible proportion of the Web content. It is of the utmost importance to protect children from this content. Search engines, as an entry point for Web navigation are ideally placed to deal with this issue. In this paper, we propose a method that builds a safe index i.e. adult-content free for search engines. This method is based on a filter that uses only textual information from the web page and the associated URL.

研究の動機と目的

• 検索エンジンのインデックスにアダルトコンテンツを含めない方法の開発、すなわちオプションのセーフサーチ機能に依存しないこと。
• 子供のウェブ上の安全性を向上させるために、アダルトサイトを検索結果から事前に除外すること。
• 語彙頻度、URL構造、メタデータなどの純粋なテキスト特徴の有効性を評価すること。
• 明確なテキスト的マーカーが欠如している状況でも、偽陽性を最小限に抑えつつ高い再現率を維持すること。

提案手法

• 本手法は、ウェブページおよびURLから抽出された36個のテキスト的および構造的特徴に基づいた、教師あり機械学習パイプラインを採用しており、意思決定森によって学習される。
• 主な特徴には、英語のアダルト語の割合（ratio_wen）、フランス語のアダルト語の割合（prop_wfr）、URLベースの特徴（IN-URL、ratio_brand）、画像数やタグ頻度などの構造的要素が含まれる。
• 最終分類は、すべての意思決定ツリーの多数決によって決定され、感度と特異度のバランスを取るために調整可能な閾値が使用される。
• 画像や動画分析を一切排除することで、処理速度とスケーラビリティを維持するため、テキストおよびURLベースの特徴のみを用いる。
• システムは、アダルトサイトをインデックスから完全に削除するように設計されており、これによりPageRankが低下し、検索結果における可視性が最小限に抑えられる。
• さらに、TLDチェック、免責条項検出、ブラックリストの更新といった追加メカニズムを検討することで、性能をさらに向上させている。

実験結果

リサーチクエスチョン

• RQ1 純粋にテキストベースのフィルタリングシステムは、検索エンジンインデックスからアダルトコンテンツを識別・除外する上で高い正確性を達成できるか？
• RQ2 画像や動画分析に依存せずに、URLベースの特徴や語彙頻度パターンは、アダルトコンテンツの検出にどの程度有効か？
• RQ3 アダルトサイトをインデックスから削除することで、その可視性およびランキングにどのような影響が生じるか？
• RQ4 言語固有のアダルト語の比率やタグの使用といった、さまざまなテキスト特徴は分類性能にどのように寄与するか？

主な発見

• テストデータセット（ウェブページ1,153件、うち839件がアダルト、314件が安全）において、フィルタは97.22%の正確性、97.85%の再現率、98.32%の適合率を達成した。
• 見逃し率はたったの2.15%であり、システムがアダルトコンテンツの大部分を効果的に特定していることが示された。
• 偽陰性は、Beegのような動画ストリーミングサイトで主に発生しており、テキスト的アダルトキーワードがほとんどないため、明確なキーワードが欠如している。
• 非明確なセクションにやや明確な内容を含むフォーラムも、検出が不十分であったが、これはアダルトコンテンツ全体の少数を占めるにとどまった。
• IN-URL、ratio_brand、ratio_queries といった特徴は、70%以上の分類で使用されており、URL構造の検出における重要性が浮き彫りになった。
• テキストコンテンツにのみ依存するこの手法は、97.22%のケースで十分な性能を示した。これは、視覚的でない特徴がアダルトコンテンツのフィルタリングに非常に効果的であることを示している。