[論文レビュー] Who is Killed by Police: Introducing Supervised Attention for Hierarchical LSTMs

Minh Nguyen, Thien Huu Nguyen|arXiv (Cornell University)|Jul 9, 2018

Topic Modeling参考文献 28被引用数 31

ひとこと要約

本稿では、意味語彙リストと句構造依存木を用いた教師ありアテンション機構を備えた階層的LSTMモデルを提案し、テキストからの警察による殺害の検出を実現する。名前付きエンティティの複数文コンテナをモデル化し、意味的・構文的に関連する語に注目することで、特徴工学を用いない状態で、先行研究よりF1スコアを3.3%向上させる最先端の性能を達成した。

ABSTRACT

Finding names of people killed by police has become increasingly important as police shootings get more and more public attention (police killing detection). Unfortunately, there has been not much work in the literature addressing this problem. The early work in this field \cite{keith2017identifying} proposed a distant supervision framework based on Expectation Maximization (EM) to deal with the multiple appearances of the names in documents. However, such EM-based framework cannot take full advantages of deep learning models, necessitating the use of hand-designed features to improve the detection performance. In this work, we present a novel deep learning method to solve the problem of police killing recognition. The proposed method relies on hierarchical LSTMs to model the multiple sentences that contain the person names of interests, and introduce supervised attention mechanisms based on semantical word lists and dependency trees to upweight the important contextual words. Our experiments demonstrate the benefits of the proposed model and yield the state-of-the-art performance for police killing detection.

研究の動機と目的

• 警察による殺害検出に関するNLP研究が不足しているにもかかわらず、公共的・マスコミ的関心が高まっている状況を踏まえ、その不足を補う。
• 深層学習モデルに依存する既存の遠隔教師付きフレームワーク（EMおよび特徴工学に依存）の限界を克服する。
• コーパス内の各名前付きエンティティに対して、複数文のテキスト的証拠を効果的にモデル化する深層学習フレームワークを開発する。
• 意味的および構文的根拠に基づいた教師ありアテンション機構を導入し、語および文の関連性重み付けを向上させる。
• テキスト的証拠のみを用いて、人物が警察によって殺害されたかどうかを検出するという、最先端の性能を達成する。

提案手法

• 2層構造の階層的LSTMを用いる：語レベルLSTMで文を符号化し、エンティティごとの文のコンテナを文レベルLSTMで符号化する。
• 語レベルおよび文レベルに教師ありアテンション機構を適用し、意味語彙リスト（例：'shot', 'police'）および依存木パスを監視信号として用いる。
• 構文的ガイダンスを統合し、キーワード間（例：'police' と 'TARGET'）の依存パスに沿ってアテンション重みを計算することで、文脈的に重要な語を強調する。
• Fatal Encountersデータベースからの遠隔教師付き学習を実施し、一致した名前には正例、一致しない名前には負例を割り当てて、モデルをエンドツーエンドで訓練する。
• アテンション重みを活用して証拠を示す語および文に注目することで、モデルの解釈可能性と性能を向上させる。
• アテンション可視化を用いてモデルの挙動を分析し、意味的および構文的ガイダンスの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし学習データを用いた警察による殺害検出に適用する場合、従来のEMベースのフレームワークに比べ、深層学習モデルが優れた性能を示せるか？
• RQ2 意味語彙リストに基づく教師ありアテンション機構は、警察による殺害イベントの文脈的関連語を特定するのにどの程度有効か？
• RQ3 構文的依存構造を組み込むことで、否定や微妙な証拠的手がかりの検出能力が向上するか？
• RQ4 潜在変数や特徴工学に依存せずに、階層的LSTMアーキテクチャが複数文コンテナを効果的にモデル化できるか？
• RQ5 意味的および構文的ガイダンスを組み合わせることで、警察による殺害検出のF1スコアにどのような影響を与えるか？

主な発見

• H-LSTM+SynAttモデルは、Keithら（2017）の最良先行モデル（soft-LR）より3.3%のF1スコアの絶対的向上を達成し、新たな最先端性能を確立した。
• H-LSTMにアテンションを適用しない場合、soft-LRモデルと同等の性能を示すが、アテンションを追加すると性能が向上する。これは、特徴工学なしの深層学習が有効であることを示唆するが、依然としてアテンションを組み込むことで性能が向上する。
• 構文的ガイダンスに基づく教師ありアテンション（H-LSTM+SynAtt）は、意味的アテンションが見逃す「death」や「arrested」などの重要な語を効果的に特定し、特に否定文や複雑な文において優れた性能を示した。
• 可視化結果から、H-LSTM単体ではターゲット名に過剰に注目する傾向があり、重要な証拠語を無視する傾向があることが明らかになった。これは、アテンション機構の必要性を強力に示している。
• H-LSTM+SemAttは、否定が含まれるネガティブ例（例：'said' や 'arrested' が警察関与を否定）では失敗するが、H-LSTM+SynAttは依存パスアテンションによりそのような手がかりを正しく特定した。
• モデルの性能はポジティブおよびネガティブなエンティティの両方で安定しており、より良い文脈モデル化とアテンションガイダンスのおかげで、精度と再現率の両方で顕著な向上を示した。