[論文レビュー] Towards Grad-CAM Based Explainability in a Legal Text Processing Pipeline

Łukasz Górski, Shashishekar Ramakrishna+1 more|arXiv (Cornell University)|Dec 15, 2020

Artificial Intelligence in Law被引用数 5

ひとこと要約

本論文は、自然言語処理パイプラインにおけるGrad-CAM——コンピュータビジョン分野の解釈可能性技術——を法的テキスト処理に初めて適用した。畳み込みニューラルネットワーク（CNN）を法的テキストに適用する際、本研究ではGrad-CAMを適合させ、異なる単語埋め込み（例：DistilBERT、word2vec、Law2Vec）がモデルの注目度と予測に与える影響を明らかにした。その結果、DistilBERTは入力文全体にわたる広範な注目度を示す一方、Grad-CAMを用いたプルーニングにより入力データを削減してもモデルの精度を維持できることが示された。

ABSTRACT

Explainable AI(XAI)is a domain focused on providing interpretability and explainability of a decision-making process. In the domain of law, in addition to system and data transparency, it also requires the (legal-) decision-model transparency and the ability to understand the models inner working when arriving at the decision. This paper provides the first approaches to using a popular image processing technique, Grad-CAM, to showcase the explainability concept for legal texts. With the help of adapted Grad-CAM metrics, we show the interplay between the choice of embeddings, its consideration of contextual information, and their effect on downstream processing.

研究の動機と目的

• 法的テキスト処理パイプラインにおけるPost-hoc解釈可能性手法としてGrad-CAMを導入すること。
• 異なる単語埋め込み（文脈的 vs. 非文脈的）が、法的テキスト分類におけるCNNの注目度パターンに与える影響を評価すること。
• 埋め込みタイプ間での注目度の広がりを定量化・比較するための指標を開発すること。
• Grad-CAMを用いた語の選択によるデータ最適化を検討し、入力サイズを縮小しても精度を損なわないようにすること。
• 将来の法的意思決定の透明性（認識論的視点）との統合に向けた基盤を築くこと。

提案手法

• 法的テキスト入力をCNNで処理する際、クラス活性化ヒートマップを生成するためにGrad-CAMを適合させること。
• Grad-CAMヒートマップに二値化閾値（例：0.15）を適用し、予測に寄与する顕著な語を同定すること。
• テスト文全体においてCNNが予測に使用する入力トークンの平均的割合を計算するための指標$\mathcal{F}(t)$を定義すること。
• Grad-CAMの注目度に基づくホワイトリスト戦略を導入し、推論時に高注目語のみを含む文にフィルタリングすること。
• 完全な入力とGrad-CAM最適化済み入力の間でモデル性能（正解率）を比較し、データ効率を評価すること。
• 注目度の広がりと埋め込みタイプ間の類似性を定量化するために、指標$\mathcal{F}(t)$と$\mathcal{I}$（ジャコーディ指数）を適用すること。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みの選択（例：DistilBERT、word2vec、Law2Vec）が、法的テキストにおけるCNNの注目度分布に与える影響は何か？
• RQ2 Grad-CAMを用いた注目度マップは、文脈的埋め込みと非文脈的埋め込みの間で、文脈処理の違いを明らかにできるか？
• RQ3 Grad-CAMを用いて、法的文における最も顕著な語を同定・抽出し、下流のデータ最適化に応用できるか？
• RQ4 入力文をGrad-CAMで特定された顕著語のみに制限することで、法的テキスト分類タスクにおけるモデルの正解率を維持できるか？
• RQ5 提案された指標は、リソースが限られたまたは半教師ありの法的NLP環境において、埋め込みの品質を信頼できる代理指標として提供できるか？

主な発見

• DistilBERT埋め込みが最も高い平均$\mathcal{F}(t)$値を示し、word2vecやLaw2Vecと比較して入力文全体にわたる広範な注目度を示した。
• word2vecとLaw2Vecは、高い$\mathcal{I}$指標（ジャコーディ指数）により、注目度パターンの類似性が確認され、同様の注目行動を示した。
• Grad-CAMを用いた入力プルーニングによりモデルの正解率が維持された——PTSD-word2vec(GoogleNews)では0.7、PTSD-DistilBERTでは0.85の正解率を達成したが、入力サイズは縮小された。
• 本手法により、各文ごとの顕著語の同定が可能となり、データパイプラインの最適化や計算負荷の低減が可能になった。
• 提案された指標$\mathcal{F}(t)$と$\mathcal{I}$は、注目度カバレッジと一貫性の観点から、埋め込みモデルの比較に定量的根拠を提供した。
• 結果から、Grad-CAMは法的埋め込みの文脈依存性を分析するツールとして機能し、モデルの解釈可能性と最適化を支援できる可能性がある。