[論文レビュー] IITP in COLIEE@ICAIL 2019: Legal Information Retrieval using BM25 and BERT

Baban Gain, Dibyanayan Bandyopadhyay+2 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 6被引用数 9

ひとこと要約

本論文は、COLIEE 2019 共同タスクにおける法的情報検索および含意検出タスクのため、BM25、tf-idf、BERTを組み合わせたハイブリッドアプローチを提示する。著者は、XGBoostで微調整したBERT埋め込みを用いて、二値含意分類タスク（タスク4）で59.18%の精度を達成し、法的ケース検索、含意検出、法規に関する質疑応答の4つのサブタスクにおいて、強力な性能を示した。

ABSTRACT

Natural Language Processing (NLP) and Information Retrieval (IR) in the judicial domain is an essential task. With the advent of availability domain-specific data in electronic form and aid of different Artificial intelligence (AI) technologies, automated language processing becomes more comfortable, and hence it becomes feasible for researchers and developers to provide various automated tools to the legal community to reduce human burden. The Competition on Legal Information Extraction/Entailment (COLIEE-2019) run in association with the International Conference on Artificial Intelligence and Law (ICAIL)-2019 has come up with few challenging tasks. The shared defined four sub-tasks (i.e. Task1, Task2, Task3 and Task4), which will be able to provide few automated systems to the judicial system. The paper presents our working note on the experiments carried out as a part of our participation in all the sub-tasks defined in this shared task. We make use of different Information Retrieval(IR) and deep learning based approaches to tackle these problems. We obtain encouraging results in all these four sub-tasks.

研究の動機と目的

• 自然言語処理および人工知能を用いて、司法判断支援における法的情報検索および含意検出の自動化の課題に取り組むこと。
• COLIEE 2019 共同タスクの4つの異なるサブタスク（ケース検索、ケース含意、法規に関する質疑応答）のための検索および分類システムの開発と評価を行うこと。
• 法的テキスト理解タスクにおいて、従来のIR手法（BM25、tf-idf、Doc2Vec）とディープラーニングモデル（BERT）を比較すること。
• 法的推論における関連する判例法および法規条項を特定する際の効率性と正確性を向上させること。

提案手法

• クエリとケースの類似度に基づき、語の頻度および逆文書頻度重み付けを用いて、関連する法的ケースの高密度検索にBM25を適用した。
• scikit-learnのTfidfVectorizerを用いてtf-idfベクトル化を行い、ドキュメントの表現と検索タスクの類似度スコアを計算した。
• 全般的な法的ドキュメントの密度ベクトル表現を生成するためにDoc2Vecを用い、意味的類似度の計算を可能にした。
• タスク4における文対分類のため、BERT-Base-Uncasedを微調整し、[CLS]トークンの埋め込みを入力特徴量として抽出した。
• BERT埋め込みとXGBoostを組み合わせて、タスク4における含意関係（YES/NO）の二値分類を実施し、高次元入力による過学習を緩和した。
• 特にタスク1およびタスク3で再現率を向上させるために、修正版BM25およびtf-idfモデルで1クエリあたり上位100件のドキュメントを検索した。

実験結果

リサーチクエスチョン

• RQ1 BM25 や tf-idf といった従来のIR手法は、司法判断支援のための関連法的ケースの検索において、どの程度有効であるか？
• RQ2 BERTベースのモデルは、法的含意および質疑応答タスクにおいて、古典的IR手法を上回ることができるか？
• RQ3 BERT埋め込みと勾配ブースティング分類器を組み合わせることで、法的テキスト分類のパフォーマンスはどの程度向上するか？
• RQ4 異なる検索戦略（例：上位kフィルタリング）は、法的情報検索における正確性と再現率にどのように影響を与えるか？

主な発見

• iitpBM25-Lモデルは、タスク3で最高の平均平均適合率（MAP）0.5409を達成し、法的質問応答タスクで他のモデルを上回った。
• iitpbertモデルは、タスク4の含意分類ベンチマークで59.18%の精度を達成し、法的NLPタスクにおけるBERTとXGBoostの有効性を示した。
• タスク1およびタスク2の両方で、BM25ベースのモデルがDoc2Vecおよびtf-idfを上回り、iitpBM25はタスク2で0.6966のF-measureを達成した。
• 修正版BM25およびtf-idfモデル（iitpBM25-Lおよびiitptfidf-L）は、それぞれ121件中109件および108件の正しく関連する記事を検索することで、再現率を顕著に向上させた。
• 768次元の高次元BERT埋め込みでさえも、ドレイン層を用いたエンドツーエンドの微調整よりも、XGBoostの一般化性能が優れており、より高い検証精度を達成した。