[論文レビュー] Threshold-Based Retrieval and Textual Entailment Detection on Legal Bar Exam Questions

Sabine Wehnert, Sayed Anisul Hoque+2 more|arXiv (Cornell University)|May 30, 2019

Artificial Intelligence in Law被引用数 8

ひとこと要約

本稿では、日本語の弁護士試験問題におけるテクスト間含意検出のためのアテンション付きスタックドエンコーダーモデルと、BM25と単語埋め込みを組み合わせたしきい値ベースの法的文書検索システムを提示する。COLIEE 2019の含意検出タスクで57.14%の正答率を達成し、ベースラインを上回り、不均衡なデータを扱う法的NLPタスクにおいて、しきい値処理とアンサンブルモデルが性能向上に寄与することを示している。

ABSTRACT

Getting an overview over the legal domain has become challenging, especially in a broad, international context. Legal question answering systems have the potential to alleviate this task by automatically retrieving relevant legal texts for a specific statement and checking whether the meaning of the statement can be inferred from the found documents. We investigate a combination of the BM25 scoring method of Elasticsearch with word embeddings trained on English translations of the German and Japanese civil law. For this, we define criteria which select a dynamic number of relevant documents according to threshold scores. Exploiting two deep learning classifiers and their respective prediction bias with a threshold-based answer inclusion criterion has shown to be beneficial for the textual entailment task, when compared to the baseline.

研究の動機と目的

• ハイブリッド検索とディープラーニングを用いて、弁護士試験形式の質問における法的文書検索およびテキスト間含意検出の性能を向上させること。
• 国際的な法的管轄区域における法的条文の複雑さと、暗黙の関係性の存在に起因する課題に対処すること。
• 関連する法的条文や含意関係の自動特定によって、ドメインスペシャリストへの依存を軽減すること。
• しきい値ベースの関連性スコアリングとアテンション機構を活用して、モデルの解釈可能性と性能を向上させること。
• 低リソースな法的NLP環境において、アンサンブルモデルとドメイン適応型埋め込みの有効性を示すこと。

提案手法

• ドイツおよび日本民法の英語翻訳を用いて学習した単語埋め込みを用い、BM25スコアリングとワードセンタロイド距離を統合する。
• 類似度スコアに基づいて、可変数の上位スコアドキュメントを選択するための動的しきい値処理を適用する。
• テキスト間含意分類のため、残差接続とアテンション機構を備えたスタックドエンコーダー構造を採用する。
• 予測がネガティブクラスに偏る2つのディープラーニング分類器を用い、アンサンブル投票によって統合する。
• 予測のフィルタリングにしきい値ベースの回答含め込みを適用し、含意検出における精度を向上させる。
• アテンションマップの可視化により、モデルの意思決定を解釈し、OoV語に関連する失敗事例を特定する。

実験結果

リサーチクエスチョン

• RQ1 語彙的（BM25）および意味的（単語埋め込み）な検索手法を統合することで、法的文書検索の性能が向上するか？
• RQ2 検索ドキュメントのしきい値ベース選択が、法的情報検索における検索品質に与える影響はいかほどか？
• RQ3 アテンション機構を備えたスタックドエンコーダーは、ベースラインモデルと比較して、法的弁護士試験問題におけるテキスト間含意検出をどのように改善するか？
• RQ4 予測がネガティブクラスに偏るモデルのバイアスは、含意予測にどの程度影響を及ぼし、どのように緩和できるか？
• RQ5 アテンション機構はモデルの推論をどのように明らかにし、希少語やドメイン固有語を含む失敗事例に関する洞察を提供するか？

主な発見

• BM25とワードセンタロイド距離を統合したしきい値ベースの検索手法は、一部のベースラインと比較して優れた性能を示したが、埋め込み学習に使用する法的コーパスを拡大することでさらなる向上が期待される。
• スタックドエンコーダーモデルは、COLIEE 2019の含意検出テストセットで57.14%の正答率を達成し、常に「いいえ」と予測するベースラインモデル（52.04%の正答率）を上回った。
• 2つのディープラーニング分類器はともに「含意なし」の予測に偏っていたが、異なるインスタンスで補完的な予測パターンを示した。
• アテンション可視化により、モデルが意味的に関連するクエリ・ドキュメントのスパン（例：「主たる債務者に後続者がいない場合」や「消滅のための請求を申し立てることができる」）に正しく注目していることが確認された。
• 誤った予測は、GloVe埋め込みがドメイン固有の用語を捉えきれない「前契約」などのOoV語に関連して多く発生していた。
• 本研究では、より大きなドメイン特化型法的コーパスを用いて単語埋め込みを学習することで、モデル性能の顕著な向上が図れる可能性があると示唆している。