[논문 리뷰] Sex Trafficking Detection with Ordinal Regression Neural Networks

Longshaokan Wang, Eric B. Laber외 2명|arXiv (Cornell University)|2019. 08. 15.

Sex work and related issues참고 문헌 34인용 수 10

한 줄 요약

이 논문은 단어 임bedding과 t-SNE를 활용하여 성매매 용어어휘를 확장함으로써, 수정된 손실 함수를 통해 단조성 위반을 줄이고 예측의 해석 가능성을 향상시켜 Trafficking-10K 데이터셋에서 최신 기술 수준의 성능을 달성하는 순서형 회귀 신경망(ORNN)을 제안한다.

ABSTRACT

Sex trafficking is a global epidemic. Escort websites are a primary vehicle for selling the services of such trafficking victims and thus a major driver of trafficker revenue. Many law enforcement agencies do not have the resources to manually identify leads from the millions of escort ads posted across dozens of public websites. We propose an ordinal regression neural network to identify escort ads that are likely linked to sex trafficking. Our model uses a modified cost function to mitigate inconsistencies in predictions often associated with nonparametric ordinal regression and leverages recent advancements in deep learning to improve prediction accuracy. The proposed method significantly improves on the previous state-of-the-art on Trafficking-10K, an expert-annotated dataset of escort ads. Additionally, because traffickers use acronyms, deliberate typographical errors, and emojis to replace explicit keywords, we demonstrate how to expand the lexicon of trafficking flags through word embeddings and t-SNE.

연구 동기 및 목표

• 수백만 개의 온라인 광고에서 성매매 관련 에스코트 광고를 효율적이고 정확하게 식별할 수 있는 확장 가능한 방법을 개발한다.
• 비모수적 순서형 회귀에서 예측의 일관성 문제를 해결하기 위해 수정된 손실 함수를 제안한다.
• 비지도 학습을 통해 단어 임베딩과 t-SNE를 활용해 이모지, 약어, 철자 실수 등 성매매 지표 어휘를 확장한다.
• 상위 경고 광고에 대한 정성적 분석을 통해 반매매 전문가에게 실질적인 통찰을 제공한다.
• 모델과 코드를 오픈소스로 공개하여 경찰 기관과 향후 연구를 지원한다.

제안 방법

• 모델은 에스코트 광고 텍스트에 기반한 스킵그램 단어 임베딩 모델을 사용하여 단어를 조밀한 벡터 표현으로 변환한다.
• 게이트드 피드백 순환 신경망(GF-RNN)이 단어 벡터를 순차적으로 처리하여 텍스트 내의 맥락적 의존성을 포착한다.
• 수정된 손실 함수를 갖춘 순서형 회귀층이 예측의 단조성을 강제하여 비모수적 순서형 회귀에서 흔히 발생하는 일관성 문제를 줄인다.
• 손실 함수에는 단조성 위반을 방지하는 페널티 항목이 포함되어 있어 높은 계산 비용 없이도 모델의 해석 가능성을 향상시킨다.
• 학습된 이모지 임베딩의 시각화를 위해 t-SNE가 적용되어 의미적 군집을 드러내며, 새로운 성매매 관련 키워드를 제안한다.
• 배치 정규화, 드롭아웃, 잔여 연결 등의 정규화 기법을 사용하여 모델의 일반화 능력과 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 순서형 회귀 출력을 갖는 딥 뉴럴 네트워크가 이전 모델 대비 에스코트 광고에서 성매매 탐지 정확도를 향상시킬 수 있는가?
• RQ2 수정된 손실 함수는 비모수적 순서형 회귀의 텍스트 분류에서 단조성 위반을 어떻게 줄일 수 있는가?
• RQ3 원시 텍스트 데이터에 대한 비지도 학습(예: 단어 임베딩 및 t-SNE)을 통해 이모지와 암호어 등 새로운 성매매 관련 키워드를 얼마나 효과적으로 파악할 수 있는가?
• RQ4 상위 랭킹 광고에서 드러나는 패턴은 반매매 전문가가 탐지 히ュ리스틱을 검증하거나 개선하는 데 어떻게 기여하는가?
• RQ5 모델 아키텍처를 텍스트와 이미지 데이터를 모두 활용하는 다중모달 환경으로 확장하여 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 ORNN은 Trafficking-10K 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전의 모든 모델, 특히 Human Trafficking Deep Network를 뛰어넘었다.
• 수정된 손실 함수는 순서형 예측에서 단조성 위반을 효과적으로 완화하여 계산 비용이 높지 않은 상태에서 모델의 해석 가능성을 향상시켰다.
• 이모지 임베딩의 t-SNE 시각화에서 의미적 군집이 드러났으며, 예를 들어 심장, 꽃, 사탕 이모지가 기존의 성매매 지표와 가까이 뭉쳐 있어 새로운 경고 신호가 될 수 있음을 시사했다.
• 백설공주 인형, 포도, 딸기 이모지가 기존의 경고 키워드(예: 체리, 라이코폴)와 가까이 뭉쳐 있어 청소년 피해자를 암시할 수 있으며, 향후 어휘에 추가되어야 할 가능성이 있다.
• 모델의 상위 예측 결과에서 일관된 언어 패턴(예: 암호어, 의도적 철자 실수)이 드러나 반매매 전문가가 탐지 규칙를 보완하는 데 활용할 수 있다.
• 저자들은 트레이닝된 모델과 코드를 GitLab에 공개하여 복제 및 경찰 기관 및 연구자들이 실질적인 현장 적용을 가능하게 하였다.