[論文レビュー] Plain English Summarization of Contracts

Laura Manor, Junyi Jessy Li|arXiv (Cornell University)|Jun 2, 2019

Natural Language Processing Techniques参考文献 36被引用数 5

ひとこと要約

この論文は、利用規約などの法律契約文書の平易な英語要約というタスクを導入し、一般の人々の理解を向上させる。著者らは、446件の法律文書のセクションとそれに付随する人間が作成した平易な英語要約を対にして構築したデータセットを提供し、高い要約的抽象化、簡素化、および読みやすさの向上を示した。初期の実験では、標準的な非教師あり抽出型要約手法が著しく劣っていることが判明し、法律文書における特化した非教師あり簡素化およびスタイル転送技術の必要性が浮き彫りになった。

ABSTRACT

Unilateral contracts, such as terms of service, play a substantial role in modern digital life. However, few users read these documents before accepting the terms within, as they are too long and the language too complicated. We propose the task of summarizing such legal documents in plain English, which would enable users to have a better understanding of the terms they are accepting. We propose an initial dataset of legal text snippets paired with summaries written in plain English. We verify the quality of these summaries manually and show that they involve heavy abstraction, compression, and simplification. Initial experiments show that unsupervised extractive summarization methods do not perform well on this task due to the level of abstraction and style differences. We conclude with a call for resource and technique development for simplification and style transfer for legal language.

研究の動機と目的

• 法律契約文書（利用規約など）の長さと複雑さのため、一般の人々が理解できないという広範な問題に対処するため。
• 専門家でないユーザー向けに、法律文書を平易な英語に自動要約するという新しいタスクを提案するため。
• 446件の法律文書セクションとそれに対応する平易な英語要約を含む高品質なデータセットを構築し、検証するため。
• 既存の抽出型要約手法が、高い抽象化とスタイルの違いのため、このタスクには不適切であることを示すため。
• 法律言語に特化した非教師あり簡素化およびスタイル転送技術の開発を呼びかけるため。

提案手法

• データセットは、TLDRLegalとTOS;DRという2つの公共のウェブサイトから収集された。これらは法律文書の平易な英語解説に特化している。
• 各データセットエントリは、法律契約文書のセクションと、経験3年分の契約作成経験を持つ専門家によって品質が手動で確認された人間による平易な英語要約から構成される。
• データセットは、読みやすさの指標を用いて評価され、要約の平均読解レベルが元のテキストよりも6年分低くなった。
• 抽象化は、要約に含まれる新語の数で測定され、DUC 2002のような標準的なニュース要約ベンチマークと比較して顕著に高いことが判明した。
• ベースラインモデル（TextRank、Greedy KL、リードモデル）をデータセットに適用し、性能を評価した。
• 研究では、既存の簡素化および要約手法におけるドメインギャップと、対応する平行コーパスの不足が主な課題であると特定した。

実験結果

リサーチクエスチョン

• RQ1 非教師あり抽出型要約モデルは、法律契約文書を平易な英語で効果的に要約できるか？
• RQ2 平易な英語要約は、標準的な要約タスクと比較して、抽象化、圧縮、簡素化のどの程度を含むか？
• RQ3 平易な英語要約の読みやすさは、元の法律文書の読解レベルと比べてどの程度か？
• RQ4 なぜ標準的な抽出型要約モデルは、この法律要約タスクで性能を発揮できないのか？
• RQ5 この分野において、簡素化やスタイル転送のような非教師あり技術の中で、どのタイプが最も効果的か？

主な発見

• 提案されたデータセットには、446組の平行な法律契約文書セクションと平易な英語要約が含まれており、要約は高い抽象化と簡素化のレベルを示している。
• 要約の平均読解レベルは、元の法律文書よりも6年分低く、顕著な簡素化がなされていることを示している。
• 要約に含まれる新語の数は、DUC 2002のニュース要約と比較して顕著に多いことが確認され、強い要約的抽象化特性が裏付けられた。
• TextRank や Greedy KL といった非教師あり抽出型モデルは、DUC 2002と比較して、このデータセットでは著しく性能が劣っている。これはドメインギャップを示している。
• 既存の教師あり簡素化およびスタイル転送手法は、法律文書と平易な英語のペairに文書レベルで対応する平行コーパスが存在しないため、直接適用できない。
• 研究は、非教師あり簡素化およびスタイル転送技術の開発が不可欠であると結論づけたが、現段階ではこの分野におけるリソースとデータセットが依然として不十分である。