[논문 리뷰] Fine Grained Classification of Personal Data Entities

Riddhiman Dasgupta, Balaji Ganesan외 3명|arXiv (Cornell University)|2018. 11. 23.

Topic Modeling참고 문헌 11인용 수 6

한 줄 요약

이 논문은 기존의 규칙 기반 애너테이터의 출력을 문맥적 특징으로 통합하여 개인 데이터 엔터티(PDE)의 미세 분류를 위한 신경망 모델을 제안한다. 이는 분류 성능을 크게 향상시킨다. 이 방법은 134종류의 PDE 계층 구조를 도입하고, 의회 대의원 위키백과 및 엔론 이메일 데이터셋이라는 두 가지 새로운 데이터셋을 제작하여 엔론 데이터셋에서 최대 98.5%의 F1 점수를 기록하고 온토노트에서 상당한 성능 향상을 이룩한다. 이는 표준형 NLP 도구가 최소한의 비용으로 미세 분류된 PDE 유형을 향상시킬 수 있음을 보여준다.

ABSTRACT

Entity Type Classification can be defined as the task of assigning category labels to entity mentions in documents. While neural networks have recently improved the classification of general entity mentions, pattern matching and other systems continue to be used for classifying personal data entities (e.g. classifying an organization as a media company or a government institution for GDPR, and HIPAA compliance). We propose a neural model to expand the class of personal data entities that can be classified at a fine grained level, using the output of existing pattern matching systems as additional contextual features. We introduce new resources, a personal data entities hierarchy with 134 types, and two datasets from the Wikipedia pages of elected representatives and Enron emails. We hope these resource will aid research in the area of personal data discovery, and to that effect, we provide baseline results on these datasets, and compare our method with state of the art models on OntoNotes dataset.

연구 동기 및 목표

• GDPR 및 히파의 요구사항에 따라 개인 데이터 엔터티(PDE)의 미세 분류에 대한 격차를 해결하기 위해, 일반적인 NER 레이블을 넘어서 높은 재현율과 정밀한 타입 지정이 필요하다.
• 기존의 패턴 매칭 시스템을 문맥적 특징으로 활용하여 수동으로 제작된 고비용 규칙에 의존도를 줄이는 확장 가능한 솔루션을 개발한다.
• 개인 정보 보호 준수 분야 간의 표준화를 위해 134종의 미세 분류된 PDE 유형을 포함한 포괄적이고 계층적인 분류 체계를 구축한다.
• 개인 데이터 탐지 및 분류 분야의 연구를 지원하기 위해, 미세 분류된 PDE 유형으로 애너테이션된 새로운 공개 데이터셋을 제공한다.

제안 방법

• 이 방법은 RNN, 어텐션 또는 BiLSTM를 사용하는 신경 시퀀스 레이블링 모델을 활용하여 미세 분류된 엔터티를 처리하며, 외부 시스템으로부터의 토큰 수준 특징을 통합한다.
• POS 태그, NER 레이블, 도메인 전용 유형 태그를 포함한 규칙 기반 개인 데이터 애너테이터(PDA)의 출력을 추가적인 문맥적 특징으로 통합하여 모델의 일반화 능력을 향상시킨다.
• 신규로 제작한 두 개의 데이터셋 — 의회 대의원 위키백과 페이지와 엔론 이메일 커뮤니케이션 — 에서 종합적으로 훈련된 모델을 사용한다. 이들 데이터셋은 모두 미세 분류된 PDE 유형으로 애너테이션되어 있다.
• 신경망 모델의 예측과 PDA의 출력을 융합하기 위해 후처리 단계에서 규칙 기반 모듈을 사용하여 최종 분류의 강건성과 일관성을 향상시킨다.
• 이 방법은 새로운 데이터셋과 온토노트 벤치마크에서 평가되며, 추가적인 PDA 특징 유무에 따라 성능을 비교한다.
• 이 프레임워크는 확장 가능하도록 설계되어, 도메인 전용 규칙 기반 애너테이터를 통합하고 레이블된 데이터에서 미세 조정함으로써 새로운 도메인에 쉽게 적응할 수 있다.

실험 결과

연구 질문

• RQ1 기존의 규칙 기반 개인 데이터 애너테이터(PDA)의 출력을 통합함으로써 신경망 모델의 개인 데이터 엔터티(PDE)에 대한 미세 분류 성능이 향상될 수 있는가?
• RQ2 기본적인 NER 시스템과 비교해 볼 때, 제안된 방법이 미세한 PDE 유형(예: /bio/education/alma_mater)을 얼마나 효과적으로 포착하는가?
• RQ3 표준형 NLP 도구에서 유래한 특징(POS, NER)과 규칙 기반 시스템에서 유도된 도메인 전용 유형 태그가 분류 정확도와 F1 점수에 얼마나 기여하는가?
• RQ4 이 방법이 최소한의 재훈련으로 정치적 생애사나 기업 이메일과 같은 다양한 도메인에 일반화될 수 있는가?
• RQ5 PDA 특징을 추가함으로써, 특히 자원이 부족하거나 드문 PDE 유형의 성능에 어떤 영향을 미치는가?

주요 결과

• 엔론 이메일 데이터셋에서 PDA가 생성한 특징(POS, NER, 규칙 기반 유형)을 추가한 결과, 기준 모델 대비 마이크로-F1은 1.8%p, 마크로-F1은 1.6%p 향상되었다.
• 의회 대의원 데이터셋에서는 특징을 사용한 모델이 기준 모델 대비 기하 평균 F1 점수 0.979를 기록하여, 모든 지표에서 일관된 성능 향상을 보였다.
• 희귀 또는 미세한 레이블인 /org/company/news 및 /person/political_figure의 경우, 기준 모델에서 F1 점수 0.0과 0.08이었던 것이 각각 0.49와 0.14로 향상되어 자원이 부족한 클래스에서의 강력한 개선을 보였다.
• 특징을 사용한 모델은 엔론 데이터셋에서 98.5%의 F1 점수, 의회 대의원 데이터셋에서 96.4%의 F1 점수를 기록하여 다양한 도메인 간 강건성을 입증했다.
• 클래스별 분석 결과, 특징 통합이 특히 기존의 표준 NER 시스템에서 인식되지 않았던 미세 분류된 PDE 유형에서 성능 향상에 크게 기여했다.
• 결과적으로, 저비용의 표준형 NLP 도구가 미세 분류된 PDE 분류 성능 향상에 상당한 기여를 할 수 있음을 확인하였으며, 고비용 수작업 특징 생성의 필요성을 줄였다.