[論文レビュー] Automatic Catchphrase Extraction from Legal Case Documents via Scoring using Deep Neural Networks

Vu Tran, Le-Minh Nguyen+1 more|arXiv (Cornell University)|Sep 14, 2018

Advanced Text Analysis Techniques参考文献 9被引用数 7

ひとこと要約

本論文は、コーパス全体の統計情報や引用情報に依存せずに、文書レベルの文脈とゴールドスタンダードなキャッチフレーズのみを用いて、法的事件文書からの自動的キャッチフレーズ抽出を目的としたディープラーニングベースの手法を提案する。システムは畳み込みニューラルネットワーク（CNN）を用いて、局所的文脈と単語埋め込みに基づきフレーズをスコア化し、外部メタデータを用いる最先端の手法と同等のROUGEスコアを達成した。

ABSTRACT

In this paper, we present a method of automatic catchphrase extracting from legal case documents. We utilize deep neural networks for constructing scoring model of our extraction system. We achieve comparable performance with systems using corpus-wide and citation information which we do not use in our system.

研究の動機と目的

• 外部のコーパス全体の統計情報や引用情報に依存しない、法的事件文書向けの自動キャッチフレーズ抽出システムの開発。
• 深層ニューラルネットワークを用いて、ゴールドキャッチフレーズと文書内のフレーズとの直接的な関係を学習することで、キャッチフレーズの特定を改善すること。
• キャッチフレーズが存在しない歴史的文書および新しい事件報告書の両方に対して、効率的かつ正確なキャッチフレーズ生成を可能にすること。
• 局所的文脈と学習された表現のみを用いて、キャッチフレーズと通常の文のフレーズを区別できるか、モデルの能力を評価すること。

提案手法

• システムは2段階のアプローチを採用する：まず畳み込みニューラルネットワーク（CNN）によるフレーズスコアリングを行い、次にスコアが上位のフレーズを選択する。
• CNNモデルは、各単語を周囲む5語の文脈窓、文、および文書レベルの特徴を組み合わせて、潜在的表現にエンコードする。
• 単語埋め込み（GloVe）を入力特徴として用い、正例対と負例対のスコア差を最大化するように、対照的損失関数でモデルを学習する。
• 損失関数には、正例ペア損失、負例ペア損失、および正則化項が含まれており、汎化性能を向上させ、過学習を防ぐ。
• フレーズ選択は、窓サイズ5に基づく半径r=4の範囲内で上位t個のアンカーフレーズを特定することで行い、句構造的制約は設けない。
• モデルは確率的勾配降下法を用いてエンドツーエンドで学習し、勾配クリッピングと固定学習率0.0001を適用する。

実験結果

リサーチクエスチョン

• RQ1 コーパス全体の統計情報や引用データに依存せず、文書内文脈とゴールドキャッチフレーズのみを用いて、ディープラーニングモデルが法的キャッチフレーズを効果的に抽出できるか。
• RQ2 CNNベースのスコアリングモデルは、従来の手法と比較して、キャッチフレーズと通常の文のフレーズをどれほど効果的に区別できるか。
• RQ3 モデルが学習したスコアが、主な制約条件（キャッチフレーズの平均スコアが高く、分散が小さいこと）をどの程度満たしているか。
• RQ4 異なる年次で得られた複数の法的事件文書セットにおいて、システムの性能が一貫性を保っているか。

主な発見

• 提案手法は、4つのテストセット（2006–2009年）において平均ROUGE-1 F1スコア0.2295を達成し、コーパス全体の統計情報や引用データを用いる最先端手法と同等の性能を示した。
• ROUGE-Wでは最も高い性能を示し、平均F1スコア0.1175を記録した。これは、候補フレーズと正解フレーズの間で共通する長いフレーズ列を効果的に捉えていることを示している。
• 設計制約のうち5つ中3つを満たした：キャッチフレーズのスコアは通常の文のフレーズよりも平均が高く、分散も大きい。また、キャッチフレーズが一様に高いスコアを持つのを回避した。
• 負の制約（o2）を厳密に満たさないものの、すべてのキャッチフレーズが通常の文のフレーズよりも高いスコアを持つわけではなく、モデルの頑健性が示された。
• ROUGE-1 F1スコアが2006年（0.2148）から2009年（0.2584）まで安定しており、異なるテストセット間で一貫した汎化性能を示した。
• Mead LexRank、Mead Centroid、ランダム選択といった強力なベースライン手法すべてに対して、ROUGE指標で優れた性能を示し、本手法の有効性を確認した。