[논문 리뷰] Sensitive Data Detection with High-Throughput Neural Network Models for Financial Institutions

Anh T. Truong, Austin Walters외 1명|arXiv (Cornell University)|2020. 12. 17.

Topic Modeling참고 문헌 22인용 수 8

한 줄 요약

이 논문은 금융기관 내 다양한 데이터 포맷에서 비공개 개인식별정보(NPI)를 탐지하기 위한 고처리량 캐릭터 수준의 CNN 모델을 제안한다. 합성 데이터, 이메일, 내부 구조화된 데이터에서 평가한 결과, BiLSTM-CRF, spaCy, 정규표현식 기반 베이스라인과 비교해 정확도(F1 점수)와 처리량 측면에서 모두 뛰어난 성능을 보였으며, 민감한 데이터 탐지 파이프라인의 프로덕션 배포에 최적의 선택이 된다.

ABSTRACT

Named Entity Recognition has been extensively investigated in many fields. However, the application of sensitive entity detection for production systems in financial institutions has not been well explored due to the lack of publicly available, labeled datasets. In this paper, we use internal and synthetic datasets to evaluate various methods of detecting NPI (Nonpublic Personally Identifiable) information commonly found within financial institutions, in both unstructured and structured data formats. Character-level neural network models including CNN, LSTM, BiLSTM-CRF, and CNN-CRF are investigated on two prediction tasks: (i) entity detection on multiple data formats, and (ii) column-wise entity prediction on tabular datasets. We compare these models with other standard approaches on both real and synthetic data, with respect to F1-score, precision, recall, and throughput. The real datasets include internal structured data and public email data with manually tagged labels. Our experimental results show that the CNN model is simple yet effective with respect to accuracy and throughput and thus, is the most suitable candidate model to be deployed in the production environment(s). Finally, we provide several lessons learned on data limitations, data labelling and the intrinsic overlap of data entities.

연구 동기 및 목표

• 금융기관 내 비공개 개인식별정보(NPI) 탐지에 대한 공개적으로 이용 가능한 레이블이 부여된 데이터셋 부족 문제를 해결한다.
• 비구조화된 텍스트와 구조화된 표 형식 데이터 포맷에서 민감한 엔티티를 탐지하기 위한 신경망 모델을 개발하고 평가한다.
• CPU 및 GPU 하드웨어에서 정확도, F1 점수, 정밀도, 재현율, 처리량을 균형 있게 고려해 프로덕션 환경에서의 모델 성능을 최적화한다.
• 도메인 특화의 NPI 엔티티에서 발생하는 OOV(Out-of-Vocabulary) 문제를 해결하기 위해 캐릭터 수준 모델의 타당성을 탐구한다.
• 실제 NER 시스템에서의 데이터 생성, 레이블링 과제, 엔티티 겹침 현상에 대한 실용적 통찰을 제공한다.

제안 방법

• 비구조화된 텍스트와 구조화된 형식(CSV, JSON, Parquet)에서 실제적인 NPI 엔티티(예: 주민등록번호, 은행계좌번호, 전화번호)를 포함한 합성 데이터셋을 생성하였다.
• 캐릭터 수준의 신경망 모델 여러 종류를 훈련하고 평가: CNN, LSTM, BiLSTM-CRF, CNN-CRF, 하이브리드 아키텍처 포함, spaCy NER 모델의 재학습 버전도 포함.
• 토큰 수준 예측의 시퀀스 레이블링 성능 향상을 위해 조건부 랜덤 필드(CRF) 레이어를 조건부 랜덤 필드 태그 디코더로 활용.
• CPU(c5.2xlarge) 및 GPU 인스턴스(g4dn.xlarge, g4dn.8xlarge, p3.2xlarge)에서 하드웨어에 맞는 배포를 통해 추론 최적화, 처리량과 지연 시간 측정.
• 입력 전처리 방식을 수정해 표 형식 데이터의 열 기반 엔티티 예측에 CNN 모델을 적응시켜, 다양한 데이터 형식에 대한 통합 적용 가능성을 확보.
• 기본 성능를 확보하기 위해 수작업으로 만든 정규표현식 필터와 수작업 특징이 포함된 CRF 모델을 기준으로 모델 간 비교 수행.

실험 결과

연구 질문

• RQ1 금융 데이터의 프로덕션 수준 NPI 탐지에서 정확도(F1 점수)와 추론 처리량 사이의 최적 균형을 이루는 신경망 아키텍처는 무엇인가?
• RQ2 금융 텍스트에서 도메인 특화의 NPI 엔티티에 대해 OOV 문제가 발생할 경우, 캐릭터 수준 모델은 단어 수준 모델(spam, spaCy 등)보다 어떻게 비교되는가?
• RQ3 실제 이메일 및 내부 데이터와 비교해 맥락적 현실성이 떨어지는 합성 데이터를 사용할 경우, 모델의 일반화 능력은 어느 정도 저하되는가?
• RQ4 단일 모델 아키텍처(예: CNN)가 최소한의 파이프라인 변경으로 비구조화된 텍스트와 구조화된 열 기반 엔티티 탐지에 효과적으로 적용될 수 있는가?
• RQ5 SSN, 전화번호, BAN 등 서로 겹치는 민감한 엔티티가 존재할 경우 발생하는 주요 과제는 무엇이며, 이는 모델 성능과 레이블링 일관성에 어떤 영향을 미치는가?

주요 결과

• 캐릭터 수준의 CNN 모델은 모든 테스트 세트(실제 이메일, 내부 데이터, 합성 데이터)에서 가장 높은 F1 점수를 기록했으며, BiLSTM-CRF, spaCy, 정규표현식 기반 베이스라인을 모두 앞섰다.
• CNN 모델은 가장 높은 처리량을 보였으며, CRF 기반 모델(BiLSTM-CRF) 대비 최대 10배 빠르고, Char-CNN 모델 대비 3배~10배 빠르게 작동해 프로덕션 환경에서 가장 효율적인 성능을 보였다.
• GPU 인스턴스에서 CNN 모델은 1초당 1,000개 이상의 토큰을 처리하는 처리량을 기록했으며, CuPy를 사용하지만 Tensorflow 최적화가 없는 spaCy 및 CRF 기반 모델을 크게 앞섰다.
• Char-CNN-Retrained 및 Char-CNN-Pretrained 모델은 열 기반 예측에서 Column-CNN-CRF 모델과 유사한 매크로 F1 점수를 달성했지만, 파arameter 수가 많고 평탄화 기능이 없어 처리량이 3배~10배 낮았다.
• 맥락을 고려한 데이터 생성 개선에도 불구하고, 맥락적 현실성이 떨어지는 합성 데이터는 실제 이메일 데이터에서의 모델 일반화 능력을 여전히 저하시키는 것으로 나타나, 더 현실적인 데이터 시뮬레이션의 필요성을 시사한다.
• 엔티티 겹침(예: 주민등록번호, 전화번호, 은행계좌번호 간 겹침)은 끊임없는 과제였으며, 컬럼 이름, 값 범위 등의 추가 메타데이터가 없으면 이 겹침을 효과적으로 해결할 수 없었다.