[論文レビュー] Always Lurking: Understanding and Mitigating Bias in Online Human Trafficking Detection

Kyle Hundman, Thamme Gowda+2 more|arXiv (Cornell University)|Dec 3, 2017

Spam and Phishing Detection参考文献 17被引用数 5

ひとこと要約

本論文は、解釈可能指標とバイアス低減戦略を用いて、オンラインのデリケート広告における人身取引を検出するための機械学習パイプラインを提示している。実際の法執行部門の検索システムに統合され、200以上の機関が使用しており、少なくとも3件の起訴をもたらし、サンフランシスコで97年という長期服役判決が出た。

ABSTRACT

Web-based human trafficking activity has increased in recent years but it remains sparsely dispersed among escort advertisements and difficult to identify due to its often-latent nature. The use of intelligent systems to detect trafficking can thus have a direct impact on investigative resource allocation and decision-making, and, more broadly, help curb a widespread social problem. Trafficking detection involves assigning a normalized score to a set of escort advertisements crawled from the Web -- a higher score indicates a greater risk of trafficking-related (involuntary) activities. In this paper, we define and study the problem of trafficking detection and present a trafficking detection pipeline architecture developed over three years of research within the DARPA Memex program. Drawing on multi-institutional data, systems, and experiences collected during this time, we also conduct post hoc bias analyses and present a bias mitigation plan. Our findings show that, while automatic trafficking detection is an important application of AI for social good, it also provides cautionary lessons for deploying predictive machine learning algorithms without appropriate de-biasing. This ultimately led to integration of an interpretable solution into a search system that contains over 100 million advertisements and is used by over 200 law enforcement agencies to investigate leads.

研究の動機と目的

• スパースで分散されたオンラインのデリケート広告において、顕在的でない人身取引の兆候を特定する課題に対処すること。
• 人身取引事案における捜査意思決定を支援する、スケーラブルで解釈可能な機械学習パイプラインによるリスクスコアリングを開発すること。
• 不正や不正確な検出を引き起こす可能性のある、トレーニングデータおよびモデル予測におけるバイアスを体系的に同定・低減すること。
• 生産環境の検索プラットフォームにシステムを統合し、200以上の法執行機関が実運用で使用できること。
• 専門家から得た指標とモデル推論の透明性を通じて、システムの有用性と信頼性を保証すること。

提案手法

• パイプラインは、Webクローリングによるデリケート広告のデータ収集、関連広告のクラスタリングによる潜在的関係の処理、ルールベース指標と非教師ありテキスト埋め込みを用いた特徴工学の多段階的アプローチを採用している。
• クラスタリングには相関クラスタリングと局所ヒューリスティクスを用い、同一の取り引き業者や組織に由来する可能性の高い広告をグループ化することで、データの重複と依存性の問題を軽減している。
• バイアス低減は、敵対的デバイアス化により実現されており、感度属性（例：人種、年齢）への依存を検出・低減するディスクリミネーターを訓練し、クラス間の特徴分布を均等化するバランスサンプリングを併用している。
• 解釈可能な指標（例：未成年の兆候、危険なサービス、1広告に複数の女性が登場するなど）は専門家の入力を通じて抽出され、モデルに埋め込まれており、透明性と捜査用途への有用性が向上している。
• 訓練データとテストデータ間の特徴分布のバランスを評価・確保するために、分布の乖離測定（例：Rényi距離、Kolmogorov–Smirnov検定）が用いられている。
• 最終的なモデルは、1億件以上の広告をインデックス化するDIG検索システムに統合されており、捜査官が説明可能な手がかりとともにリアルタイムでリスクスコアリングを実行できる。

実験結果

リサーチクエスチョン

• RQ1 スパースで一様でない分布のオンラインデリケート広告において、潜在的な人身取引兆候を信頼性高く検出する方法は何か？
• RQ2 人身取引検出のトレーニングデータにおける主なバイアス要因は何か、そしてそれらを機械学習モデルで体系的に低減する方法は何か？
• RQ3 解釈可能で専門家が定義した指標は、法執行機関における自動人身取引検出システムの信頼性と有用性をどの程度向上させられるか？
• RQ4 クラスタリング技術は、類似した重複広告や関連広告が存在する状況において、データ依存性を低減し、モデルの汎化性能を向上させるのにどの程度有効か？
• RQ5 解釈可能でバイアス低減された検出システムを実運用の法執行機関捜査に導入した場合、実世界への影響はどの程度か？

主な発見

• 敵対的デバイアス化とバランスサンプリングの統合により、人種や年齢といった感度属性へのモデル依存が顕著に低減され、公平性と汎化性能が向上した。
• 解釈可能な指標（例：未成年の兆候、1広告に複数の女性が登場する、危険なサービス）の使用により、モデルの透明性が向上し、法執行機関が捜査的推論に直接採用した。
• システムはDIG検索プラットフォームに正常に統合され、1億件を超えるデリケート広告をインデックス化し、米国200以上の法執行機関が使用している。
• システムは少なくとも3件の人身取引起訴に貢献し、サンフランシスコで起きた画期的な事例では、1人の男が97年から生涯刑を言い渡され、25人の被害者が救出された。
• 交差検証とクラスタ外損失推定を通じたモデル性能の妥当性が確認され、潜在的な広告クラスタを考慮した場合に、より高いロバストネスが得られた。
• DARPA Memexカタログを通じて非人身取引バージョンのツールをオープンソースで公開したことで、より広範な採用とコミュニティによる手法の検証が可能になった。