[論文レビュー] Sensitive Information Detection: Recursive Neural Networks for Encoding Context

Jan Neerbek|arXiv (Cornell University)|Aug 25, 2020

Topic Modeling参考文献 85被引用数 9

ひとこと要約

本論文は、再帰的ニューラルネットワーク（RNN）を用いた文脈に配慮した新規なアプローチを提案し、意味的文脈をモデル化することで、従来のキーワードベース手法を上回る、非構造化テキストにおける機微情報の検出を実現する。この手法は、事前定義されたルールやシード語を必要とせず、ラベル付きの例から学習するため、人間がアノテートした機微情報文書を含む実世界のデータで顕著な向上を達成する。

ABSTRACT

The amount of data for processing and categorization grows at an ever increasing rate. At the same time the demand for collaboration and transparency in organizations, government and businesses, drives the release of data from internal repositories to the public or 3rd party domain. This in turn increase the potential of sharing sensitive information. The leak of sensitive information can potentially be very costly, both financially for organizations, but also for individuals. In this work we address the important problem of sensitive information detection. Specially we focus on detection in unstructured text documents. We show that simplistic, brittle rule sets for detecting sensitive information only find a small fraction of the actual sensitive information. Furthermore we show that previous state-of-the-art approaches have been implicitly tailored to such simplistic scenarios and thus fail to detect actual sensitive content. We develop a novel family of sensitive information detection approaches which only assumes access to labeled examples, rather than unrealistic assumptions such as access to a set of generating rules or descriptive topical seed words. Our approaches are inspired by the current state-of-the-art for paraphrase detection and we adapt deep learning approaches over recursive neural networks to the problem of sensitive information detection. We show that our context-based approaches significantly outperforms the family of previous state-of-the-art approaches for sensitive information detection, so-called keyword-based approaches, on real-world data and with human labeled examples of sensitive and non-sensitive documents.

研究の動機と目的

• 非構造化テキストにおける機微情報検出において、頑丈さに欠けるルールベースおよびキーワードベースのシステムの限界を是正すること。
• 生成ルールやトピックのシード語へのアクセスといった現実的でない仮定を必要とせず、ラベル付きの学習例にのみ依存する手法を開発すること。
• 類似表現検出タスクで達成された最先端のディープラーニング技術を、機微情報検出タスクに適応させること。
• 再帰的ニューラルネットワークアーキテクチャを用いて文脈的依存関係をモデル化することで、検出性能を向上させること。

提案手法

• このアプローチは、テキスト文書内の階層的構文的および意味的構造を符号化するために再帰的ニューラルネットワークを用いる。
• テキストを解析木として処理し、語の表現を再帰的に組み合わせて、より深い文脈的表現を構築する。
• 分類ヘッドを用いて、機微情報あり／なしのラベル付き例に対してエンドツーエンドで学習する。
• 注意メカニズムと再帰的合成を活用し、長距離依存関係や微細な文脈的手がかりを捉える。
• 最先端の類似表現検出モデルにインspiredされ、そのアーキテクチャと学習戦略を適応する。
• 外部の語彙リストやルールセットに依存せず、ラベル付きデータから直接パターンを学習する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、キーワードマッチングをはるかに超えて、文脈的依存関係を効果的にモデル化できるか？
• RQ2 実世界の機微情報検出において、文脈に配慮したディープラーニングアプローチは、ルールベースおよびキーワードベースのシステムと比べてどのように差をつけるか？
• RQ3 シード語やルールテンプレートを必要としないが、ラベル付き例でのみ学習するモデルは、どの程度優れた性能を発揮できるか？
• RQ4 語の表現を再帰的に合成することで、非構造化テキストにおける意味的に機微なコンテンツの検出が向上するか？
• RQ5 事前に言語的知識やドメイン固有の知識を持たない状態でも、モデルは多様な実世界の文書に一般化できるか？

主な発見

• 提案されたRNNベースの手法は、実世界の機微情報検出タスクにおいて、従来の最先端のキーワードベース手法を顕著に上回る。
• 人間がラベル付けしたデータセットにおいて、F1スコアがより高く達成され、意味的に機微なコンテンツの検出が向上していることが示された。
• ルールベースのシステムが文脈的に関連するケースをしばしば見逃すのに対し、本手法は実際の機微情報の顕著な割合を検出している。
• タスク固有のルール設計を必要とせず、多様な文書タイプにうまく一般化している。
• 再帰的ネットワークによる文脈に配慮したモデリングが、頑健な機微情報検出にとって不可欠であることが結果から確認された。