[論文レビュー] FlagIt: A System for Minimally Supervised Human Trafficking Indicator Mining

Mayank Kejriwal, Jiayuan Ding+3 more|arXiv (Cornell University)|Dec 5, 2017

Hate Speech and Cyberbullying Detection参考文献 6被引用数 10

ひとこと要約

FlagIt は、軽量な専門家ルール、教師なしテキスト埋め込み（例：fasttext）、およびヒューリスティックな半教師あり再ラベル付けを組み合わせた最小限の教師付きシステムであり、数百万人のオンラインの売買春広告文を人間売買の兆候でタグ付けする。F1スコアは80％をわずかに下回り、5つの指標のうち4つでベースラインを2–13％上回り、最小限のラベル付け作業で優れた性能を示している。

ABSTRACT

In this paper, we describe and study the indicator mining problem in the online sex advertising domain. We present an in-development system, FlagIt (Flexible and adaptive generation of Indicators from text), which combines the benefits of both a lightweight expert system and classical semi-supervision (heuristic re-labeling) with recently released state-of-the-art unsupervised text embeddings to tag millions of sentences with indicators that are highly correlated with human trafficking. The FlagIt technology stack is open source. On preliminary evaluations involving five indicators, FlagIt illustrates promising performance compared to several alternatives. The system is being actively developed, refined and integrated into a domain-specific search system used by over 200 law enforcement agencies to combat human trafficking, and is being aggressively extended to mine at least six more indicators with minimal programming effort. FlagIt is a good example of a system that operates in limited label settings, and that requires creative combinations of established machine learning techniques to produce outputs that could be used by real-world non-technical analysts.

研究の動機と目的

• 最小限のラベル付きデータでオンラインの売買春広告における人間売買の兆候を検出する課題に対処すること。
• 高リスクでリソースが限られた分野において、高価な手作業によるラベル付けや専門家による特徴工学の依存を減らすこと。
• 最小限のプログラミングの負荷で、実運用に即して利用可能なスケーラブルで拡張可能なシステムを構築すること。
• 非技術的な捜査官が説明可能なルールベースのタグ付けと確率的指標を通じて、疑わしいコンテンツを特定できるようにすること。
• 200以上の機関が使用する運用上の法執行警察検索システムへの統合を支援すること。

提案手法

• FlagIt は、spaCy を用いたルールパターンに基づく軽量な専門家システムを用い、指標タグ付けのための候補文を同定する。
• 文を密なベクトル空間に表現するため、最新の教師なしテキスト埋め込み（例：fasttext）を適用して、後続の分類に用いる。
• 半教師ありのヒューリスティックな再ラベル付け戦略を採用し、分類器の確率分布の末端から信頼度の高い未ラベル文を選び、反復的にモデルを再訓練する。
• 各指標ごとに少数の専門家ラベル付きデータセットでモデルを学習し、最小限の再構成で数百万件の文にスケーリングする。
• 指標タグは、法執行警察で使用されるドメイン固有の検索エンジン（DS1/DS2）において、捜査の手がかり生成や調査に用いられる。
• 各指標あたり数時間の作業で、新しい指標への迅速な拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 最小限の教師付き学習を用いたシステムは、ラベル付きデータが限られた状況でも、オンラインの売買春広告における人間売買の兆候を高精度に検出できるか？
• RQ2 不規則でドメイン特化したテキストにおいて、fasttext などの教師なしテキスト埋め込みは、従来の手法（例：paragraph2vec）に比べてどれほど効果的か？
• RQ3 ヒューリスティックな半教師あり再ラベル付けは、ラベル付きデータが少ない状況で分類器の性能をどの程度向上させるか？
• RQ4 ルールベース論理と埋め込みベース学習を組み合わせたハイブリッドシステムは、非技術的な法執行警察ユーザーにとって、精度と実用性の両立が可能か？
• RQ5 新しい指標を追加するにあたり、最小限の工学的作業で、システムのスケーラビリティと拡張性はどの程度確保できるか？

主な発見

• FlagIt は、5つの人間売買の兆候すべてで平均 F1 スコアが80％をわずかに下回り、ラベル付きデータが少ない状況でも優れた性能を示した。
• 5つの指標のうち4つで、最良のベースラインを F1 スコアで2–13％上回り、常に最良の適応型ベースラインであった。
• 半教師あり学習により、全指標で1–9％の性能向上が確認され、ラベル付きデータが少ない状況での価値が裏付けられた。
• 広範なハイパーパrameterチューニングを行っても、fasttext 埋め込みモデルは paragraph2vec より顕著に優れており、不規則なドメインではモデル選択の重要性が浮き彫りになった。
• 各指標あたり数時間の作業で、11–13の指標への拡張が可能で、新たな信号の迅速な展開が可能となった。
• FlagIt は、200以上の機関が使用する運用上の法執行警察検索システムにすでに統合されており、実世界での影響力とスケーラビリティを実証している。