[論文レビュー] Computer-Assisted Creation of Boolean Search Rules for Text Classification in the Legal Domain

Hannes Westermann, Jaromír Šavelka+3 more|arXiv (Cornell University)|Dec 10, 2021

Topic Modeling被引用数 4

ひとこと要約

本論文では、語の共起統計とインタラクティブフィードバックを活用することで、法的ドメインの専門家が反復的に説明可能なブール検索ルールを構築できるコンピュータ支援システムCASEを提示する。この手法は、機械学習モデルと同等の性能を達成する一方で、解釈可能性、コンactさ、制御性に優れ、特に高レベルの法的関連性を持つ小規模なデータセットにおいて顕著である。

ABSTRACT

In this paper, we present a method of building strong, explainable classifiers in the form of Boolean search rules. We developed an interactive environment called CASE (Computer Assisted Semantic Exploration) which exploits word co-occurrence to guide human annotators in selection of relevant search terms. The system seamlessly facilitates iterative evaluation and improvement of the classification rules. The process enables the human annotators to leverage the benefits of statistical information while incorporating their expert intuition into the creation of such rules. We evaluate classifiers created with our CASE system on 4 datasets, and compare the results to machine learning methods, including SKOPE rules, Random forest, Support Vector Machine, and fastText classifiers. The results drive the discussion on trade-offs between superior compactness, simplicity, and intuitiveness of the Boolean search rules versus the better performance of state-of-the-art machine learning models for text classification.

研究の動機と目的

• 限られたアノテート済みデータにおける法的ドメインでの正確で解釈可能なテキスト分類器の作成という課題に対処すること。
• 法的意思決定文脈において透明性に欠ける複雑なブラックボックス機械学習モデルへの依存を減らすこと。
• ドメインの直感を反映させつつ、統計的ガイダンスの恩恵を受けることができる、法的専門家によるルール作成の支援を可能にすること。
• リアルタイム評価を伴う反復的・インタラクティブなブール検索ルールの改善を支援するシステムの開発。
• 人間が関与するブールルールが、最先端の機械学習モデルと同等の性能を達成しつつ、より優れた解釈可能性を提供できるかどうかの評価。

提案手法

• CASEシステムは、アノテーターがブール検索ルールに適した用語を選択するのを助けるために、語の共起統計を利用する。
• ルール作成中に精度と再現率のリアルタイムフィードバックを提供し、反復的な改善を可能にする。
• ユーザーは専門家の直感と統計的インサイトに基づいて、論理演算子（AND、OR、NOT）を用いてルールを構築する。
• システムは、データセット内の用語の関連性と意味的関係のインタラクティブな探索を可能にする。
• ルールは継続的に評価され、ユーザーは即時のパフォーマンスフィードバックに基づいて改善できる。
• 人間のドメイン専門知識と計算的支援を統合することで、ルールの品質と一般化性能を向上させるアプローチ。

実験結果

リサーチクエスチョン

• RQ1 コンピュータ支援システムは、アノテート済みデータが限られた法的専門家が、最小限のデータで高精度なブール検索ルールを構築するのを支援できるか？
• RQ2 CASEで作成された専門家主導のブールルールの性能は、最先端の機械学習モデルと比べてどの程度か？
• RQ3 CASEを用いて作成されたブールルールは、ブラックボックス機械学習モデルと比較して、どれほど優れた解釈可能性と説明可能性を示すか？
• RQ4 統計的共起データの統合は、手作業で作成された法的検索ルールの質と関連性を向上させられるか？
• RQ5 計算フィードバックに導かれた人間の直感は、より一般化可能で法的に意味のある分類ルールをどのように導くか？

主な発見

• CASEを用いて作成されたブール検索ルールは、4つの法的テキスト分類データセットにおいて、ランダムフォレスト、SVM、fastTextなどの機械学習モデルと比べて、性能にほとんど差がなかった。
• 「prohibit」や「definition」などの重要な法的用語において、CASEルールはより高い精度と再現率を示し、法的関連性が強いことを裏付けた。
• 複雑な機械学習モデルと比較して、ルールはよりコンactで説明しやすく、法的専門家にとって優れた解釈可能性を提供した。
• システムにより、ユーザーはルール開発中に分類誤りを検出でき、たとえば知的財産データセットにおける誤ってラベル付けされた用語の特定が可能になった。
• ユーザーはルール作成の全過程で完全な制御を保ったまま、法的に意味のある用語を優先し、データセット固有のノイズへの過剰適合を回避できた。
• 結果として、低データ量かつ高解釈性を求める法的ユースケースにおいて、人間が関与するブールルールは機械学習モデルの代替として実用的である可能性があると示唆された。