[論文レビュー] Fine-grained Intent Classification in the Legal Domain

Ankan Mullick, Abhilash Nandy+3 more|arXiv (Cornell University)|May 6, 2022

Artificial Intelligence in Law被引用数 5

ひとこと要約

本稿では、法律文書のための新しい微細分類意図分類データセットを紹介しており、粗い分類（4カテゴリ：殺人、強盗、土地紛争、腐敗）と微細なサブ意図を併記したものを含む。また、変換器ベースのモデルを文書分類および意図分類タスクで評価している。粗いレベルのタスクでは優れた性能を示しているが、微細分類意図分類では著しく困難を示しており、このデータセットが法的NLPのベンチマークとしての挑戦性と価値を示している。

ABSTRACT

A law practitioner has to go through a lot of long legal case proceedings. To understand the motivation behind the actions of different parties/individuals in a legal case, it is essential that the parts of the document that express an intent corresponding to the case be clearly understood. In this paper, we introduce a dataset of 93 legal documents, belonging to the case categories of either Murder, Land Dispute, Robbery, or Corruption, where phrases expressing intent same as the category of the document are annotated. Also, we annotate fine-grained intents for each such phrase to enable a deeper understanding of the case for a reader. Finally, we analyze the performance of several transformer-based models in automating the process of extracting intent phrases (both at a coarse and a fine-grained level), and classifying a document into one of the possible 4 categories, and observe that, our dataset is challenging, especially in the case of fine-grained intent classification.

研究の動機と目的

• 法的文書における微細分類意図分類のためのアノテーション付きデータセットの不足に対処すること、特に事件手続における潜在的意図を理解することを目的とする。
• フレーズレベルおよびサブ意図レベルのアノテーションを可能にすることで、法的文書理解の深まりを図ること。
• 最先端の変換器モデルが法的ドメインにおける文書レベルおよび微細分類意図分類タスクでどのように性能を発揮するかを評価すること。
• 微細な法的意図を捉えることができ、今後の法的NLP研究および自動事件要約の支援に役立つベンチマークデータセットを確立すること。

提案手法

• Seleniumを用いてCommonLIIから抽出した4つの事例カテゴリ（殺人、強盗、土地紛争、腐敗）に属する93件の法的文書からなるデータセットを収集した。
• 2名のアノテーターが文書カテゴリと一致する意図を表す文を抽出し、その後2名の別アノテーターが名前や日付などの余分な情報を除いた意図フレーズを抽出した。
• 別アノテーターが各カテゴリごとにサブ意図の分類体系を構築し、4名のアノテーターが各意図フレーズにその対応する微細なサブ意図をラベル付けした。
• アノテーター間整合性はCohenのカッパ係数（κ = 0.79）で測定され、アノテーションの品質が保証された。
• 事前学習済み変換器モデル（BERT、RoBERTa、ALBERT、DeBERTa）を、JointBERTフレームワークを用いて文書分類および統合的意図スロット分類タスクに微調整した。
• 評価指標には、すべてのクラスにおける適合率、再現率、F1スコア、およびマクロ平均スコアを用い、クラス不均衡の影響にも注意を払った。

実験結果

リサーチクエスチョン

• RQ1 変換器ベースのモデルは、粗い分類意図カテゴリ（殺人、強盗、土地紛争、腐敗）に法的文書を効果的に分類できるか？
• RQ2 モデルは、法的意図フレーズ内に含まれる微細なサブ意図（例：行動、証拠、説明）をどれほど正確に特定・分類できるか？
• RQ3 クラス不均衡は、特に腐敗のような代表数が少ないカテゴリにおいて、モデルの性能にどのような影響を及えるか？
• RQ4 事前学習済み変換器を用いて、法的テキスト上で意図とスロットの統合分類を効果的に行えるか？
• RQ5 提案されたデータセットは、法的NLPにおける微細分類意図分類の進展を促すための挑戦的で適切なベンチマークとみなせるか？

主な発見

• DeBERTaは文書分類の正確度（0.90）とF1スコア（0.90）で最高を記録し、BERT、RoBERTa、DistilBERTを上回った。
• 粗い分類意図分類においては、BERTがF1スコア（0.89）で最高を記録し、次いでRoBERTa（0.88）、ALBERT（0.87）となり、マクロ平均F1は0.90であった。
• 微細分類意図分類の性能は著しく低下し、BERTでもマクロF1はわずか0.50にとどまり、さらなる改善の余地が大きいことが示された。
• BERTバックボーンを用いたJointBERTモデルは、微細分類意図分類タスクでマクロ平均F1スコア0.50を達成し、個々のクラスのF1スコアは0.29から0.67の範囲に分布した。
• 性能が最も低かったのは腐敗および殺人のサブ意図で、F1スコアはそれぞれ0.52および0.54であり、特に「殺人_証拠」（0.29）が最も低く、サンプル数が少なく複雑さが影響した。
• クラスごとのサンプル数が少ないにもかかわらず、微細分類すべてのクラスでF1 > 0.4を達成しており、14クラス中12クラスが0.4以上を記録した。これは、さらなる最適化によりこのタスクが実現可能であることを示している。