[論文レビュー] Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance

Abhishek Agarwal, Shanshan Xu+1 more|arXiv (Cornell University)|Oct 22, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、BERTベースのモデルと最大マージナル再levance（MMR）を用いて、冗長性を低減する抽出的要約のためのマルチタスク学習アプローチを提案する。要約と修辞的役割の識別を同時に学習させることで、人間の専門家が作成した要約と同等のROUGEスコアを達成し、リソースが限られた法的自然言語処理の文脈において優れた性能を示している。

ABSTRACT

Summarizing legal decisions requires the expertise of law practitioners, which is both time- and cost-intensive. This paper presents techniques for extractive summarization of legal decisions in a low-resource setting using limited expert annotated data. We test a set of models that locate relevant content using a sequential model and tackle redundancy by leveraging maximal marginal relevance to compose summaries. We also demonstrate an implicit approach to help train our proposed models generate more informative summaries. Our multi-task learning model variant leverages rhetorical role identification as an auxiliary task to further improve the summarizer. We perform extensive experiments on datasets containing legal decisions from the US Board of Veterans' Appeals and conduct quantitative and expert-ranked evaluations of our models. Our results show that the proposed approaches can achieve ROUGE scores vis-à-vis expert extracted summaries that match those achieved by inter-annotator comparison.

研究の動機と目的

• 限られた専門家がアノテートしたデータを前提とした低リソースな状況下でも良好な性能を示す、法的判決の抽出的要約システムの開発を目的とする。
• 最大マージナル再levance（MMR）を用いて、要約の冗長性を低減するとともに、重要な内容を保持する。
• マルチタスク学習フレームワーク内で補助タスクとしての修辞的役割識別を活用することで、要約性能を向上させることを目的とする。
• ROUGEスコアを用いた定量的評価と専門家による定性的評価の両方でモデルを評価することを目的とする。
• 米国退役軍人審査委員会（U.S. Board of Veterans’ Appeals）の実際の法的判決、特にPTSD補償事例に焦点を当て、モデルの有効性を検証することを目的とする。

提案手法

• 法的テキストに特化したBERTモデルを微調整し、法的用語や文の埋め込みをよりよく捉えるようにする。
• 法的判決における修辞的役割（例：理由づけ、証拠）を識別する系列ラベル付けモデルを補助タスクとして訓練する。
• MMRを用いて候補文を再順序付けし、関連性と多様性のバランスをとり、最終的な要約の冗長性を最小限に抑える。
• 抽出的要約と修辞的役割分類の両タスクを同時に最適化するため、マルチタスク学習を適用し、タスク間で表現を共有する。
• 訓練中に冗長性損失項を統合し、選択された文における意味的繰り返しを暗黙的に低減する。
• モデルの予測結果とMMRベースの選択を統合し、要約が簡潔で情報が多く、冗長でないものを生成する。

実験結果

リサーチクエスチョン

• RQ1 修辞的役割識別を補助タスクとして用いたマルチタスク学習は、リソースが限られた法的データセットにおける抽出的要約性能を向上させることができるか？
• RQ2 法的要約における他の冗長性低減戦略と比較して、MMRベースの文選択はどのように異なるか？
• RQ3 提案されたモデルは、定量的および定性的な評価の両方において、専門家がアノテートした要約とどの程度同等の品質を達成できるか？
• RQ4 一般ドメインモデルと比較して、ドメイン特化型事前学習BERTを統合することで、要約性能が向上するか？
• RQ5 マルチタスクモデルの定量的スコアがより高いにもかかわらず、なぜ定性的な専門家評価では単一タスクモデルが好まれる場合があるのか？

主な発見

• マルチタスク学習モデルは、アノテータ間的一致度と同等かそれ以上のROUGEスコアを達成し、人間の専門家と同等の性能を示した。
• 補助タスクとしての修辞的役割識別を組み込むことで、単一タスクベースラインと比較して要約性能が顕著に向上した。
• MMRベースの選択機構は、ソースコンテンツとの関連性を維持しつつ、冗長性を効果的に低減した。
• 法的専門家による定性的評価で、提案モデルが生成した要約は人間アノテータが作成した要約と同等以上であることが確認された。
• 定量的スコアは高いにもかかわらず、定性的評価で単一タスクモデルが好まれる傾向があることから、法的要約においてROUGEスコアと人間の判断の間に妥当なトレードオフが存在する可能性が示唆された。
• モデルはPTSD補償事例のBVAデータセットに良好に一般化できるが、より多様な法的分野や事案パターンでは性能にばらつきが生じる可能性がある。