[論文レビュー] Sensitive Data Detection with High-Throughput Neural Network Models for Financial Institutions

Anh T. Truong, Austin Walters+1 more|arXiv (Cornell University)|Dec 17, 2020

Topic Modeling参考文献 22被引用数 8

ひとこと要約

本論文では、金融機関における多様なデータ形式の非公開個人識別情報（NPI）を検出する、高スループットな文字レベルCNNモデルを提案する。合成データ、メール、内部構造化データの評価において、F1スコアとスループットの両面でBiLSTM-CRF、spaCy、regexベースラインを上回り、機密データ検出パイプラインにおける本番環境デプロイメントの最適選択肢であることを示している。

ABSTRACT

Named Entity Recognition has been extensively investigated in many fields. However, the application of sensitive entity detection for production systems in financial institutions has not been well explored due to the lack of publicly available, labeled datasets. In this paper, we use internal and synthetic datasets to evaluate various methods of detecting NPI (Nonpublic Personally Identifiable) information commonly found within financial institutions, in both unstructured and structured data formats. Character-level neural network models including CNN, LSTM, BiLSTM-CRF, and CNN-CRF are investigated on two prediction tasks: (i) entity detection on multiple data formats, and (ii) column-wise entity prediction on tabular datasets. We compare these models with other standard approaches on both real and synthetic data, with respect to F1-score, precision, recall, and throughput. The real datasets include internal structured data and public email data with manually tagged labels. Our experimental results show that the CNN model is simple yet effective with respect to accuracy and throughput and thus, is the most suitable candidate model to be deployed in the production environment(s). Finally, we provide several lessons learned on data limitations, data labelling and the intrinsic overlap of data entities.

研究の動機と目的

• 金融機関における非公開個人識別情報（NPI）検出のための、公開可能でラベル付きのデータセットが不足している問題に対処する。
• 非構造化テキストおよび構造化テーブル形式のデータにおいて、感受性の高いエンティティを検出するためのニューラルネットワークモデルの開発と評価を行う。
• CPUおよびGPUハードウェア上で、精度、F1スコア、適合率、再現率、スループットのバランスを最適化することで、本番環境でのモデルパフォーマンスを最適化する。
• ドメイン固有のNPIエンティティにおける未知語問題を克服するため、文字レベルモデルの有効性を検証する。
• 金融データにおけるデータ生成、ラベリングの課題、エンティティの重複に関する実践的知見を提供する。

提案手法

• 非構造化テキストおよび構造化フォーマット（CSV、JSON、Parquet）において、現実的なNPIエンティティ（例：社会保障番号、銀行口座番号、電話番号）を含む合成データセットを生成した。
• 複数の文字レベルニューラルネットワークモデル（CNN、LSTM、BiLSTM-CRF、CNN-CRF、ハイブリッドアーキテクチャ）を訓練・評価し、spaCy NERモデルの再訓練版も含めた。
• トークンレベルの予測におけるシーケンスラベル付けのパフォーマンスを向上させるために、CRFレイヤーを条件付きランダムフィールドのタグデコーダーとして採用した。
• CPU（c5.2xlarge）およびGPUインスタンス（g4dn.xlarge、g4dn.8xlarge、p3.2xlarge）におけるハードウェアに最適化されたデプロイメントにより、インferencingの最適化を図り、スループットとレイテンシを測定した。
• 入力前処理の変更により、テーブルデータにおけるカラム単位のエンティティ予測に適応したCNNモデルを設計し、あらゆるデータフォーマットへの汎用的適用を可能にした。
• ベースラインパフォーマンスを確立するため、手動で作成したregexフィルターや、手動特徴を組み合わせたCRFモデルとモデルを比較した。

実験結果

リサーチクエスチョン

• RQ1 金融データにおける本番環境向けNPI検出において、検出精度（F1スコア）とインフェレンススループットの両立を達成する最良のニューラルネットワークアーキテクチャは何か？
• RQ2 ドメイン固有のNPIエンティティにおける未知語問題を考慮すると、文字レベルモデルは単語レベルモデル（例：spaCy）と比較して、金融テキストにおける検出性能にどのように差がでるか？
• RQ3 実際のメールデータや内部データと比較して、文脈的リアリズムに欠ける合成データを使用した場合、モデルの一般化性能はどの程度低下するか？
• RQ4 CNNなどの単一のモデルアーキテクチャを、非構造化テキストおよび構造化カラム単位のエンティティ検出に最小限のパイプライン変更で効果的に適用できるか？
• RQ5 重複する感受性エンティティ（例：SSN、電話番号、BAN）によって生じる主な課題は何か？また、それらはモデルパフォーマンスおよびラベリングの一貫性にどのように影響を与えるか？

主な発見

• 文字レベルCNNモデルは、すべてのテストセット（実際のメール、内部データ、合成データ）で最高のF1スコアを達成し、BiLSTM-CRF、spaCy、regexベースラインを上回った。
• CNNモデルは最高のスループットを示し、CRFベースのモデル（例：BiLSTM-CRF）に比べて最大10倍速く、Char-CNNモデルに比べても3倍～10倍速く、本番環境での効率性が最も高かった。
• GPUインスタンスでは、CNNモデルが1秒あたり1,000トークン以上のスループットを達成し、CuPyを活用したがTensorFlow最適化が不足しているspaCyやCRFベースのモデルを大きく上回った。
• Char-CNN-RetrainedおよびChar-CNN-Pretrainedモデルは、カラム単位の予測においてColumn-CNN-CRFモデルと同等のマクロF1スコアを達成したが、パラメータ数が多く、フラットテーリングが行われていないため、スループットが3倍～10倍低かった。
• 文脈を含むデータ生成を改善したにもかかわらず、文脈的リアリズムに欠ける合成データは、実際のメールデータにおけるモデルの一般化性能を低下させることが判明し、よりリアルなデータシミュレーションの必要性が示された。
• エンティティの重複（例：SSN、電話番号、BANの間）は一貫した課題であり、カラム名や値の範囲などの追加メタデータがなければ、その重複を効果的に解消できないことが分かった。