[논문 리뷰] Sensitive Information Detection: Recursive Neural Networks for Encoding Context

Jan Neerbek|arXiv (Cornell University)|2020. 08. 25.

Topic Modeling참고 문헌 85인용 수 9

한 줄 요약

이 논문은 구조화되지 않은 텍스트에서 민감한 정보를 탐지하기 위한 새로운 맥락 인식 접근법을 제안한다. 이 방법은 재귀 신경망(RNN)을 사용하여 의미적 맥락을 모델링함으로써 기존의 키워드 기반 방법보다 우수한 성능을 발휘한다. 이 방법은 사전에 정의된 규칙나 시드 단어가 필요 없이 레이블이 붙은 예시로부터 학습하며, 인간이 레이블을 붙인 민감한 문서를 포함한 실제 데이터에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

The amount of data for processing and categorization grows at an ever increasing rate. At the same time the demand for collaboration and transparency in organizations, government and businesses, drives the release of data from internal repositories to the public or 3rd party domain. This in turn increase the potential of sharing sensitive information. The leak of sensitive information can potentially be very costly, both financially for organizations, but also for individuals. In this work we address the important problem of sensitive information detection. Specially we focus on detection in unstructured text documents. We show that simplistic, brittle rule sets for detecting sensitive information only find a small fraction of the actual sensitive information. Furthermore we show that previous state-of-the-art approaches have been implicitly tailored to such simplistic scenarios and thus fail to detect actual sensitive content. We develop a novel family of sensitive information detection approaches which only assumes access to labeled examples, rather than unrealistic assumptions such as access to a set of generating rules or descriptive topical seed words. Our approaches are inspired by the current state-of-the-art for paraphrase detection and we adapt deep learning approaches over recursive neural networks to the problem of sensitive information detection. We show that our context-based approaches significantly outperforms the family of previous state-of-the-art approaches for sensitive information detection, so-called keyword-based approaches, on real-world data and with human labeled examples of sensitive and non-sensitive documents.

연구 동기 및 목표

• 구조화되지 않은 텍스트에서 민감한 정보를 탐지하는 데 있어 유연하지만 취약한 규칙 기반 및 키워드 기반 시스템의 한계를 해결하기 위해.
• 사전에 정의된 규칙나 주제별 시드 단어에 접근 가능하다는 비현실적인 가정 없이도 레이블이 붙은 학습 예시만으로도 기반을 둔 방법을 개발하기 위해.
• 문장 유사성 탐지 분야에서 최신의 딥 러닝 기법을 민감한 정보 탐지 작업에 적용하기 위해.
• 재귀 신경망 아키텍처를 통해 맥락적 의존성을 모델링하여 탐지 성능을 향상시키기 위해.

제안 방법

• 이 방법은 텍스트 문서의 계층적 문법적 및 의미적 구조를 인코딩하기 위해 재귀 신경망을 사용한다.
• 텍스트를 분석 트리로 처리하여 단어 표현을 재귀적으로 조합함으로써 더 깊은 맥락적 표현을 구축한다.
• 분류 헤드를 사용하여 민감한 문서와 비민감한 문서의 레이블이 붙은 예시를 엔드 투 엔드로 훈련한다.
• 주의 메커니즘과 재귀적 조합을 활용하여 장거리 의존성과 미세한 맥락적 신호를 포착한다.
• 최신의 문장 유사성 탐지 모델에서 영감을 얻어, 아키텍처와 훈련 전략을 적응시켰다.
• 외부 어휘집이나 규칙 세트에 의존하는 대신, 레이블이 붙은 데이터에서 직접 패턴을 학습한다.

실험 결과

연구 질문

• RQ1 재귀 신경망이 키워드 매칭을 넘어서 맥락적 의존성을 효과적으로 모델링하여 민감한 정보 탐지 성능을 향상시킬 수 있는가?
• RQ2 실제 민감한 정보 탐지 상황에서 맥락 인식 딥 러닝 접근법은 규칙 기반 및 키워드 기반 시스템과 비교해 어떻게 성능을 냈는가?
• RQ3 시드 단어나 규칙 템플릿이 필요한 방법들에 비해, 레이블이 붙은 예시만으로 학습된 모델이 얼마나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 단어 표현의 재귀적 조합이 구조화되지 않은 텍스트에서 의미적으로 민감한 콘텐츠 탐지에 어떻게 기여하는가?
• RQ5 사전에 언어학적 또는 도메인 특화 지식이 없이도 모델이 다양한 실제 문서 유형에 잘 일반화되는가?

주요 결과

• 제안된 RNN 기반 방법은 실제 민감한 정보 탐지 작업에서 이전의 최고 성능을 기록한 키워드 기반 접근법보다 뚜렷이 뛰어난 성능을 보였다.
• 인간이 레이블을 붙인 데이터셋에서 높은 F1 스코어를 달성하여 의미적으로 민감한 콘텐츠 탐지 능력이 향상됨을 입증했다.
• 규칙 기반 시스템이 종종 맥락적으로 관련성이 있는 사례를 놓치는 데 비해, 이 방법은 실제 민감한 정보의 상당한 비율을 탐지할 수 있었다.
• 특정 작업용 규칙 설계 없이도 다양한 문서 유형 간에 잘 일반화되는 것으로 나타났다.
• 재귀 네트워크를 통한 맥락 인식 모델링이 민감한 정보 탐지의 강건성에 필수적임을 확인했다.