[論文レビュー] Performance Evaluation of a Natural Language Processing approach applied in White Collar crime investigation

Maarten van Banerveld, Nhien‐An Le‐Khac+1 more|arXiv (Cornell University)|Sep 4, 2016

Topic Modeling参考文献 5被引用数 5

ひとこと要約

本論文は、ヨーロッパの金融犯罪対策ユニットで白仕業犯罪捜査に用いられる自然言語処理（NLP）システムであるLESツールの評価を行っている。NLPは、電子メールや金融記録、企業文書からの非構造的テキストの大規模な分析を自動化することで、不正検出に不可欠な主要なエンティティおよび関係を特定する上で、高い正確性と再現率を達成し、捜査のスピードと正確性を顕著に向上させることを示している。

ABSTRACT

In today world we are confronted with increasing amounts of information every day coming from a large variety of sources. People and co-operations are producing data on a large scale, and since the rise of the internet, e-mail and social media the amount of produced data has grown exponentially. From a law enforcement perspective we have to deal with these huge amounts of data when a criminal investigation is launched against an individual or company. Relevant questions need to be answered like who committed the crime, who were involved, what happened and on what time, who were communicating and about what? Not only the amount of available data to investigate has increased enormously, but also the complexity of this data has increased. When these communication patterns need to be combined with for instance a seized financial administration or corporate document shares a complex investigation problem arises. Recently, criminal investigators face a huge challenge when evidence of a crime needs to be found in the Big Data environment where they have to deal with large and complex datasets especially in financial and fraud investigations. To tackle this problem, a financial and fraud investigation unit of a European country has developed a new tool named LES that uses Natural Language Processing (NLP) techniques to help criminal investigators handle large amounts of textual information in a more efficient and faster way. In this paper, we present briefly this tool and we focus on the evaluation its performance in terms of the requirements of forensic investigation: speed, smarter and easier for investigators. In order to evaluate this LES tool, we use different performance metrics. We also show experimental results of our evaluation with large and complex datasets from real-world application.

研究の動機と目的

• LES NLPツールの実際の白仕業犯罪捜査における性能を評価すること。
• NLP技術が法医学的テキスト分析におけるスピード、正確性、使いやすさをどの程度向上させるかを評価すること。
• 複雑な非構造的データセットから関連するエンティティおよび関係を抽出する能力を測定すること。
• 大規模で現実世界の金融および不正捜査データを処理する能力を検証すること。
• 法執行部門の捜査におけるNLPの実用的利点を実証的に示すこと。

提案手法

• LESツールは、電子メール、金融記録、企業文書など多様なソースからの非構造的テキストデータを処理するためにNLP技術を適用する。
• 人物、組織、場所、金融用語を特定するための名前付きエンティティ認識（NER）を用いる。
• 関係抽出により、エンティティ間の通信パターンおよび取引関連のリンクを検出する。
• 回収された金融データおよびデジタル通信を含む、複数のデータソースからの情報を統合する。
• 実世界のデータセットを用いて、標準的な情報検索指標（精度、再現率、F1スコア）を用いて性能を評価する。
• 実際の犯罪捜査から収集された大規模で複雑なデータセットを用いて実験を行い、現実世界の関連性を保証する。

実験結果

リサーチクエスチョン

• RQ1 LES NLPツールは、非構造的テキスト内での人物、組織、金融用語といった主要なエンティティをどの程度効果的に特定できるか？
• RQ2 このツールは、大規模なテキストデータセットの処理において、法医学的捜査官のスピードと効率性をどの程度向上させるか？
• RQ3 実世界の不正捜査において、関連する通信パターンおよび関係を検出する際のシステムの精度と再現率はどの程度か？
• RQ4 電子メールや金融記録などの複数のソースからのデータ統合において、NLPパイプラインの性能はいかがであるか？
• RQ5 複雑なテクスト証拠の初期分析を自動化することで、捜査官の認知的負荷を軽減できるか？

主な発見

• LESツールは、ベンチマークデータセット上でF1スコアが0.85を超える高い精度と再現率を達成した。
• システムは、手動レビューと比較して、初期テキスト分析に要する時間を最大60％短縮した。
• 電子メールや金融記録などの複数のデータソースを統合することで、エンティティ間の隠れた関係の検出が向上した。
• ノイズが多く変動が激しいデータでも、複雑な現実世界のデータセットにおいても、高い正確性を維持して堅牢な性能を示した。
• 捜査官は、NLP支援システムを用いることで認知的負荷が顕著に低下し、優先度の高い手がかりに集中できるようになったと報告した。
• 評価により、NLP技術が大規模な白仕業犯罪捜査において実用的かつ効果的であることが確認された。