[論文レビュー] Extracting Fairness Policies from Legal Documents

Rashmi Nagpal, Chetna Wadhwa+4 more|arXiv (Cornell University)|Sep 12, 2018

Ethics and Social Impacts of AI参考文献 19被引用数 5

ひとこと要約

本稿では、複雑な法的文書から公平性関連のポリシーを自動で抽出するための意味的類似度ベースのアプローチを提案する。古典的な WordNet に基づく手法と、現代的な単語および文のベクトル表現を比較する。GloVe 単語ベクトルは、意味の解釈の明確化や文レベルのモデリング機能を欠くにもかかわらず、古典的ベースラインおよび他のベクトル手法を著しく上回る性能を示す。

ABSTRACT

Machine Learning community is recently exploring the implications of bias and fairness with respect to the AI applications. The definition of fairness for such applications varies based on their domain of application. The policies governing the use of such machine learning system in a given context are defined by the constitutional laws of nations and regulatory policies enforced by the organizations that are involved in the usage. Fairness related laws and policies are often spread across the large documents like constitution, agreements, and organizational regulations. These legal documents have long complex sentences in order to achieve rigorousness and robustness. Automatic extraction of fairness policies, or in general, any specific kind of policies from large legal corpus can be very useful for the study of bias and fairness in the context of AI applications. We attempted to automatically extract fairness policies from publicly available law documents using two approaches based on semantic relatedness. The experiments reveal how classical Wordnet-based similarity and vector-based similarity differ in addressing this task. We have shown that similarity based on word vectors beats the classical approach with a large margin, whereas other vector representations of senses and sentences fail to even match the classical baseline. Further, we have presented thorough error analysis and reasoning to explain the results with appropriate examples from the dataset for deeper insights.

研究の動機と目的

• 長大で複雑な法的文書（憲法や規則集など）から公平性関連ポリシーを同定する課題に対処すること。
• 公平性ポリシー抽出の文脈において、古典的 NLP 技法（WordNet に基づく類似度）と現代的ベクトルベースのアプローチ（GloVe、Sense2Vec、Para2Vec）を比較すること。
• 異なる意味的類似度手法が、法的テキスト内でのドメイン固有の公平性概念をどの程度正確に捉えられるかを評価すること。
• 各手法の強みと限界を理解するために、誤分類例を詳細に分析すること。
• AI システムの法的公平性基準への準拠を自動化するための基盤を提供すること。

提案手法

• 候補文と公平性、バイアス、差別に関連するシード感覚との間の意味的関連性を、WordNet に基づくパス類似度を用いて計算した。
• 事前学習済み GloVe 単語ベクトルを用い、候補文の単語ベクトルとシード語の間のコサイン類似度を計算し、文を単語の袋（bag of words）として扱った。
• 一般ドメインコーパス上で学習された、組み込み済みの単語の意味の解釈（sense disambiguation）を備えた、文脈に配慮した単語表現である Sense2Vec を検討した。
• 文全体の高レベルな意味的表現を捉えるために、Para2Vec を適用し、文レベルの意味をモデル化することを目的とした。
• 類似度スコアの最大値にしきい値を設定し、その値を上回った場合にのみ、文を公平性ポリシーと分類した。
• 各手法の失敗モードとドメイン固有の制限を特定するために、誤分類例に対するエラー分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 古典的な WordNet に基づく意味的類似度手法は、法的文書から公平性ポリシーを抽出するうえでどの程度有効であるか？
• RQ2 現代的な単語および文のベクトル表現は、この特定のタスクにおいて、古典的 NLP 技法を上回ることができるか？
• RQ3 Sense2Vec や Para2Vec のような、理論的には優位性を持つベクトルベースのアプローチが、なぜ一部で性能を発揮しないのか？
• RQ4 各手法の主な失敗モードは何か。それらは意味の粒度とドメインの不一致とどのように関連しているか？
• RQ5 法的ドメインに特化した微調整なしに、事前学習済み埋め込み表現を法的テキスト処理に効果的に使用できる範囲はどの程度か？

主な発見

• GloVe 単語ベクトルが、すべての手法の中で最高の性能を示し、古典的な WordNet に基づくベースラインを著しく上回った。
• 古典的な WordNet に基づくアプローチは、意味の明確な識別とパスベースの類似度計算の恩恵を受けて、妥当な性能を発揮した。
• Sense2Vec は単語の意味をモデル化できるにもかかわらず、事前学習ドメインと法的テキストとの間のドメインシフトのため、性能が低かった。
• Para2Vec は、公平性ポリシーの狭く特異な意味的特徴を捉えられず、感情分類のようなより広範な意味的カテゴリーを最適化しているため、失敗した。
• エラー分析から、GloVe の成功は、意味の曖昧さに対して頑健であること、および、意味の解釈の明確化なしに法的表現の多様性に一般化できることに起因することが明らかになった。
• 本研究は、ドメインの不一致と粗い意味的捉え込みが、法的 NLP タスクにおける事前学習済み埋め込み表現の主な制限要因であることを強調している。