[論文レビュー] Methods for Computing Legal Document Similarity: A Comparative Study

Paheli Bhattacharya, Kripabandhu Ghosh+2 more|arXiv (Cornell University)|Apr 26, 2020

Topic Modeling参考文献 7被引用数 13

ひとこと要約

本論文は、法律専門家がアノテートした47組のインド上訴裁判所の事例を用いた共有データセットを用いて、法的文書類似性手法の体系的比較を提示する。2つの新規手法—Node2Vecを用いた引用ネットワーク埋め込みと主題的セグメント類似性—を導入し、テクスト的類似性と引用に基づく類似性の両方を組み合わせることで、専門家の判断との相関が著しく向上することを示している。最高の結果ではピアソン相関係数が0.626に達した。

ABSTRACT

Computing similarity between two legal documents is an important and challenging task in the domain of Legal Information Retrieval. Finding similar legal documents has many applications in downstream tasks, including prior-case retrieval, recommendation of legal articles, and so on. Prior works have proposed two broad ways of measuring similarity between legal documents - analyzing the precedent citation network, and measuring similarity based on textual content similarity measures. But there has not been a comprehensive comparison of these existing methods on a common platform. In this paper, we perform the first systematic analysis of the existing methods. In addition, we explore two promising new similarity computation methods - one text-based and the other based on network embeddings, which have not been considered till now.

研究の動機と目的

• 共通のデータセット上で、既存の法的文書類似性手法を公平かつ体系的に比較すること。
• 先例引用類似性とテクスト類似性測定法の有効性を、専門家がアノテートした類似性スコアを予測する観点から評価すること。
• 2つの新規手法の導入と評価：Node2Vecを用いた引用ネットワーク埋め込みと、主題的セグメントに基づくテクスト類似性。
• 異なる類似性タイプ（テクスト的および引用ベース）を組み合わせた場合の全体的なパフォーマンスへの影響を調査すること。
• 法的文書類似性において、最も効果的な組み合わせ戦略（最大値集約関数と平均集約関数）を同定すること。

提案手法

• 本研究は、0から10のスケールで専門家がアノテートした類似性スコアを有する47組のインド上訴裁判所の事例ペアからなるデータセットを用いる。
• 既存の5つの先行研究の先例引用類似性測定法（文献的結合、共引用、分散、および2種類の引用ベース類似性の変種）を再現し、比較する。
• 引用ネットワークに新しいグラフ埋め込み手法（Node2Vec）を適用して、先例引用類似性を計算する。
• テクスト類似性は、全本文の埋め込み（Doc2Vec）と、文書を主題的コンポONENT（事実、主張、法的根拠、判決）に分割し、対応するセグメント間の類似性を計算する方法の両方で算出する。
• テクスト的および引用ベースの類似性を、最大値と平均の2つの集約戦略を用いて組み合わせ、ハイブリッド手法の効果を評価する。
• パフォーマンスは、予測された類似性スコアと専門家がアノテートしたスコアとのピアソン相関係数を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 共有され、専門家がアノテートしたデータセット上で、既存の法的文書類似性手法の中で最も優れた性能を示すのはどれか？
• RQ2 新規手法（Node2Vecを用いた引用ネットワーク埋め込みと主題的セグメント類似性）は、従来の手法と比較してどのように異なるか？
• RQ3 テクスト的類似性と先例引用類似性を組み合わせることで、単独で使用する場合よりもパフォーマンスが向上するか？
• RQ4 最大値集約と平均集約のどちらの戦略が、専門家の類似性判断との相関をより高めるか？
• RQ5 異なる文書の側面（例：事実、法的根拠、先例）が、全体の類似性認識に果たす相対的寄与度は何か？

主な発見

• 文献的結合（先例引用類似性）とDoc2Vecを用いた全本文類似性の組み合わせが、専門家のスコアとのピアソン相関係数0.626という最高の結果を達成した。
• 主題的類似性は、特に文献的結合と組み合わせた場合、相関係数0.604を達成し、特定の法的コンポONENTにおける類似性が全体の類似性に有意義に寄与していることを示している。
• Node2Vecを用いた引用類似性と主題的類似性の平均集約が、ハイブリッド手法の中で最も優れたパフォーマンスを示し、相関係数は0.615であった。
• テクスト的および引用ベースの手法を組み合わせることで、単独のアプローチを上回る性能が得られ、類似性の複数の側面が補完的であることが示された。
• 本研究では、文書が最も類似しているのは「法的根拠（Ratio）」と「先例（Precedent）」のセクションであり、それぞれ相関係数が0.45および0.42であった。これは、これらのコンポONENTが専門家の類似性判断の中心的役割を果たしていることを示唆している。
• Doc2Vecの性能はトレーニングデータに敏感であり、モデルのトレーニング方法の違いにより、先行研究とは相関係数が異なった。