[논문 리뷰] Always Lurking: Understanding and Mitigating Bias in Online Human Trafficking Detection

Kyle Hundman, Thamme Gowda외 2명|arXiv (Cornell University)|2017. 12. 03.

Spam and Phishing Detection참고 문헌 17인용 수 5

한 줄 요약

이 논문은 해석 가능한 지표와 오차 보정 전략을 사용하여 온라인 성매매 광고에서 인신매매를 탐지하기 위한 기계학습 파이프라인을 제시한다. 실제 경찰 수사 시스템에 통합되어 200개 이상의 기관에서 사용되었으며, 최소 세 건의 기소를 이끌어내었고, 샌프란시스코에서 97년의 징역형이 선고된 사례도 포함되어 실질적인 영향을 미쳤다.

ABSTRACT

Web-based human trafficking activity has increased in recent years but it remains sparsely dispersed among escort advertisements and difficult to identify due to its often-latent nature. The use of intelligent systems to detect trafficking can thus have a direct impact on investigative resource allocation and decision-making, and, more broadly, help curb a widespread social problem. Trafficking detection involves assigning a normalized score to a set of escort advertisements crawled from the Web -- a higher score indicates a greater risk of trafficking-related (involuntary) activities. In this paper, we define and study the problem of trafficking detection and present a trafficking detection pipeline architecture developed over three years of research within the DARPA Memex program. Drawing on multi-institutional data, systems, and experiences collected during this time, we also conduct post hoc bias analyses and present a bias mitigation plan. Our findings show that, while automatic trafficking detection is an important application of AI for social good, it also provides cautionary lessons for deploying predictive machine learning algorithms without appropriate de-biasing. This ultimately led to integration of an interpretable solution into a search system that contains over 100 million advertisements and is used by over 200 law enforcement agencies to investigate leads.

연구 동기 및 목표

• 희소하고 분산된 온라인 성매매 광고에서 숨겨진, 명백하지 않은 매매 징후를 탐지하는 데 도전하는 것.
• 조사 의사결정 지원을 위한 확장 가능하고 해석 가능한 기계학습 파이프라인을 개발하여 위험도 점수를 매기는 것.
• 불공정하거나 정확하지 못한 탐지로 이어질 수 있는 훈련 데이터 및 모델 예측에서의 편향을 체계적으로 식별하고 보완하는 것.
• 모델을 200개 이상의 경찰 기관이 사용하는 생산용 검색 플랫폼에 통합하여 실제 수사에 활용하는 것.
• 전문가로부터 확보한 지표와 모델 추론의 투명성으로 시스템의 유용성과 신뢰성을 확보하는 것.

제안 방법

• 파이프라인은 다단계 접근 방식을 사용한다: 웹 크롤링을 통한 광고 데이터 수집, 관련 광고의 군집화를 통한 잠재적 관계 처리, 규칙 기반 지표와 비지도 텍스트 임베딩을 활용한 특징 공학.
• 군집화는 국소 히우리스틱을 사용한 상관관계 군집화를 통해 동일한 매매 조직 또는 개인에서 온 광고를 그룹화하여 데이터 중복과 종속성 문제를 줄인다.
• 왜곡 보정은 적대적 탈편향 기법을 통해 이루어지며, 민감한 속성(예: 인종, 연령)에 대한 의존도를 감지하고 최소화하는 디스크림이너를 훈련시킨다. 또한, 클래스 간 특징 분포를 균형 잡기 위해 균형 임의 샘플링을 실시한다.
• 해석 가능한 지표—예를 들어, 미성년자 신호, 위험한 서비스, 한 광고에 다수의 소녀 존재 등—는 전문가의 입력에서 도출되어 모델에 통합되어 투명성과 조사 활용도를 향상시킨다.
• 훈련 및 테스트 세트 간 특징 분포의 균형을 평가하고 확보하기 위해 분포 발산 측정법(예: Rényi 발산, Kolmogorov–Smirnov 검정)을 사용한다.
• 최종 모델은 DIG 검색 시스템에 통합되었으며, 이는 1억 개 이상의 광고를 색인하고 조사관이 설명 가능한 단서를 제공하는 실시간 위험도 점수를 지원한다.

실험 결과

연구 질문

• RQ1 희소하고 균일하지 않은 분포를 띠는 온라인 성매매 광고에서 잠재적인 매매 징후를 어떻게 신뢰성 있게 탐지할 수 있는가?
• RQ2 매매 탐지에 사용되는 훈련 데이터에서 발생하는 주요 편향 원인은 무엇이며, 이를 기계학습 모델에서 어떻게 체계적으로 보완할 수 있는가?
• RQ3 해석 가능한 전문가 정의 지표는 자동화된 매매 탐지 시스템의 신뢰성과 활용도를 어느 정도 향상시킬 수 있는가?
• RQ4 군집화 기법을 통해 근접한 중복 또는 관련 광고가 존재하는 상황에서 데이터 종속성 문제를 줄이고 모델 일반화 능력을 향상시킬 수 있는가?
• RQ5 실제 경찰 수사에 응용된 해석 가능하고 편향이 제거된 탐지 시스템의 실질적 영향은 어떠한가?

주요 결과

• 적대적 탈편향과 균형 임의 샘플링의 통합은 인종, 연령 등 민감한 속성에 대한 모델 의존도를 크게 감소시켜 공정성과 일반화 능력을 향상시켰다.
• 해석 가능한 지표—예를 들어, 미성년자 신호, 한 광고에 다수의 소녀 존재, 위험한 서비스 등—의 사용은 모델의 투명성을 높였으며, 경찰 기관에서 조사적 추론에 직접적으로 활용되었다.
• 시스템은 DIG 검색 플랫폼에 성공적으로 구현되었으며, 이 플랫폼은 1억 개 이상의 성매매 광고를 색인하고 미국 내 200개 이상의 경찰 기관에서 사용 중이다.
• 시스템은 최소 세 건의 인신매매 기소에 기여했으며, 샌프란시스코에서 97년의 영구 수감형이 선고되고 25명의 피해자가 구출된 사례를 포함하여 역사적인 사례를 만들었다.
• 모델 성능은 교차 검증 및 클러스터 외 손실 추정을 통해 검증되었으며, 잠재적 광고 클러스터를 고려할 경우 더욱 강건한 성능을 보임을 확인했다.
• DARPA Memex 카탈로그 통해 비매매 버전의 도구를 오픈소스로 공개하여 더 넓은 도입과 커뮤니티 검증을 가능케 하였다.