[論文レビュー] ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining

Mohamed Elaraby, Diane Litman|arXiv (Cornell University)|Sep 4, 2022

Topic Modeling被引用数 13

ひとこと要約

本稿では、特別トークンを用いて、問題（Issues）、根拠（Reasons）、結論（Conclusions）を特定する議論的役割ラベリングを入力シーケンスに統合することで、法的文書の要約生成を向上させる手法ArgLegalSummを提案する。実験の結果、Longformerに予測された議論的役割を追加することで、ベースラインに比べてROUGEスコアが最大0.41ポイント向上し、特に長文の法的文書において議論的要素の強化と要約品質の向上が顕著に見られた。

ABSTRACT

A challenging task when generating summaries of legal documents is the ability to address their argumentative nature. We introduce a simple technique to capture the argumentative structure of legal documents by integrating argument role labeling into the summarization process. Experiments with pretrained language models show that our proposed approach improves performance over strong baselines

研究の動機と目的

• 法的文書要約の課題に対処すること。法的文書には、標準的な抽象的要約モデルが捉えきれない、暗黙的かつ分散化された議論的構造が含まれる。
• 法的文書における議論的マイニングと抽象的要約のギャップを埋めること。議論的構造は重要であるが、しばしば無視されている。
• 序列モデルの入力に議論的役割情報（問題、根拠、結論）を明示的に組み込むことで、要約性能を向上させること。
• 予測された議論的役割が、顕著な性能低下を伴わずに、手動アノテーションの代替として効果的に機能するかどうかを評価すること。

提案手法

• まず、微調整された議論的役割分類器を用いて、法的文書の各文を3つの役割のいずれか（問題、根拠、結論）にラベル付ける。
• 元の文書に、議論的役割がラベル付けされた文の前後に特別トークン（例：<IRC>、</IRC>）を挿入するか、6種類の役割固有のトークンを用いることで、文書を拡張する。
• 拡張された入力を、事前学習済みの序列モデル（例：Longformer-LED や BART）に供給し、抽象的要約を生成する。
• 2種類のマーカー方式を評価する：二値マーカー（議論的テキストを強調）と、完全な役割固有マーカー（各役割を明示的にラベル付け）。
• モデルは、人手でアノテートされた要約と議論的役割を備えた1,049件のカナダ法的事件から成るデータセット上で訓練・評価される。
• ROUGEスコアと議論的要素の分析を用いて、生成された要約を基準要約および議論的文のサブセットと比較することで、アプローチの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 抽象的要約モデルの入力に議論的役割情報を統合することで、法的文書要約のROUGEスコアが向上するか？
• RQ2 細分化された役割固有トークン（例：問題、根拠、結論）を用いることで、議論的コンテンツのみを強調する二値マーカーに比べて、性能が向上するか？
• RQ3 別個の分類器から得た予測された議論的役割を用いる場合と、手動ラベルを用いる場合とで、モデルの性能にどのような差が生じるか？
• RQ4 モデルが議論的構造を適切に捉える能力が、Longformerの拡張されたコンテキスト窓のような長文入力処理能力に依存するか？
• RQ5 生成された要約が、基準要約の議論的コンテンツをどの程度反映しているか？これは、手動でアノテートされた議論的文と重複度で測定される。

主な発見

• 手動ラベルの議論的役割を用いたarg-LED-baseモデルで、6つの役割固有マーカーを採用した場合、ベースラインのvanilla LED-baseに比べ、ROUGE-1が1.0ポイント、ROUGE-2が4.0ポイント、ROUGE-Lが1.5ポイント向上した。
• 2マーカー方式（二値強調）では、ベースラインに比べROUGE-2が4.0ポイント向上したが、ROUGE-1とROUGE-Lの向上はわずかであった。
• arg-BART-Largeは、BARTのコンテキスト窓が限られているため、散発的な議論的信号を効果的に捉えられず、ベースラインに比べて性能向上が見られなかった。
• 手動ラベルの代わりに予測された議論的役割を用いた場合、ROUGEスコアは0.02～0.41ポイントの低下にとどまり、高いロバスト性と実用的妥当性を示した。
• arg-LED-baseモデルが生成した要約は、より議論的であり、基準要約の議論的文サブセットとの重複度が顕著に高く、本手法が核心的な議論的コンテンツに焦点を当てていることを確認した。
• モデルはベースラインに比べて短い要約を生成しており、非本質的なテキストの含みを減らし、議論的コンテンツに集中していることが示唆された。