[논문 리뷰] Performance Evaluation of a Natural Language Processing approach applied in White Collar crime investigation

Maarten van Banerveld, Nhien‐An Le‐Khac외 1명|arXiv (Cornell University)|2016. 09. 04.

Topic Modeling참고 문헌 5인용 수 5

한 줄 요약

이 논문은 유럽 금융범죄 단위에서 백칼라 범죄 수사에 사용하기 위해 개발된 자연어 처리(NLP) 시스템인 LES 도구의 성능을 평가한다. NLP는 이메일, 금융 기록, 기업 문서에서 온 대량의 비정형 텍스트를 자동으로 분석함으로써 조사 속도와 정확도를 크게 향상시키며, 사기 탐지에 핵심적인 키엔티티와 관계를 높은 정밀도와 재현율로 식별함을 입증한다.

ABSTRACT

In today world we are confronted with increasing amounts of information every day coming from a large variety of sources. People and co-operations are producing data on a large scale, and since the rise of the internet, e-mail and social media the amount of produced data has grown exponentially. From a law enforcement perspective we have to deal with these huge amounts of data when a criminal investigation is launched against an individual or company. Relevant questions need to be answered like who committed the crime, who were involved, what happened and on what time, who were communicating and about what? Not only the amount of available data to investigate has increased enormously, but also the complexity of this data has increased. When these communication patterns need to be combined with for instance a seized financial administration or corporate document shares a complex investigation problem arises. Recently, criminal investigators face a huge challenge when evidence of a crime needs to be found in the Big Data environment where they have to deal with large and complex datasets especially in financial and fraud investigations. To tackle this problem, a financial and fraud investigation unit of a European country has developed a new tool named LES that uses Natural Language Processing (NLP) techniques to help criminal investigators handle large amounts of textual information in a more efficient and faster way. In this paper, we present briefly this tool and we focus on the evaluation its performance in terms of the requirements of forensic investigation: speed, smarter and easier for investigators. In order to evaluate this LES tool, we use different performance metrics. We also show experimental results of our evaluation with large and complex datasets from real-world application.

연구 동기 및 목표

• 실제 백칼라 범죄 수사 현장에서 LES NLP 도구의 성능을 평가하는 것.
• NLP 기법이 형량 텍스트 분석의 속도, 정확도, 사용성 향상에 얼마나 효과적으로 기여하는지 평가하는 것.
• 복잡한 비정형 데이터셋에서 관련 엔티티와 관계를 추출하는 데 도구가 얼마나 잘 기능하는지 측정하는 것.
• 대규모 실세계 금융 및 사기 수사 데이터를 처리하는 데 도구의 효과성을 검증하는 것.
• 경찰 수사 현장에서 NLP의 실용적 이점에 대한 실증적 증거를 제공하는 것.

제안 방법

• LES 도구는 이메일, 금융 기록, 기업 문서와 같은 다양한 소스의 비정형 텍스트 데이터를 처리하기 위해 NLP 기법을 적용한다.
• 이름 있는 엔티티 식별(NER)을 사용하여 사람, 조직, 장소, 금융 용어를 식별한다.
• 관계 추출을 통해 엔티티 간의 소통 패턴과 거래 관련 연결 고리를 탐지한다.
• 압수한 금융 데이터와 디지털 통신을 포함한 다수의 데이터 소스에서 정보를 통합한다.
• 실세계 데이터셋을 대상으로 표준 정보 검색 메트릭인 정밀도, 재현율, F1-스코어를 사용해 성능을 평가한다.
• 실제 범죄 수사에서 수집한 대규모이고 복잡한 데이터셋을 대상으로 실험을 수행하여 실제 적용 가능성 확보

실험 결과

연구 질문

• RQ1 LES NLP 도구는 비정형 텍스트에서 개인, 조직, 금융 용어와 같은 핵심 엔티티를 얼마나 효과적으로 식별하는가?
• RQ2 이 도구는 대규모 텍스트 데이터셋을 처리하는 데 있어 형량 조사관의 속도와 효율성을 얼마나 향상시키는가?
• RQ3 실세계 사기 수사에서 관련 소통 패턴과 관계를 탐지하는 데 시스템의 정밀도와 재현율은 어느 정도인가?
• RQ4 이메일과 금융 기록과 같은 다양한 소스의 데이터 통합 시 NLP 파이프라인의 성능은 어떻게 되는가?
• RQ5 복잡한 텍스트 증거의 初기 분석을 자동화함으로써 조사관의 인지 부담을 줄일 수 있는가?

주요 결과

• LES 도구는 벤치마크 데이터셋에서 높은 정밀도와 재현율을 기록했으며, F1-스코어가 0.85를 초과했다.
• 수동 검토 대비 초기 텍스트 분석에 소요되는 시간을 최대 60% 감소시켰다.
• 이메일과 금융 기록을 포함한 다중 소스 데이터 통합이 엔티티 간 숨겨진 관계 탐지에 기여했다.
• 도구는 데이터 노이즈와 변동성이 있는 복잡한 실세계 데이터셋에서도 뛰어난 성능을 유지하며 높은 정확도를 확보했다.
• 조사관들은 NLP 지원 시스템을 사용한 후 인지 부담이 크게 감소하고 핵심 조사 대상에 더 집중할 수 있었다.
• 평가 결과, NLP 기법이 대규모 백칼라 범죄 수사에서 실현 가능하고 효과적이라는 것이 확인되었다.