[論文レビュー] Attesting Biases and Discrimination using Language Semantics

Xavier Ferrer Aran, José M. Such+1 more|arXiv (Cornell University)|Sep 10, 2019

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、言語的意味解析に焦点を当て、人間の無意識的なバイアスが自然言語処理（NLP）システムにどのように組み込まれるかを分析することで、AIエージェントにおけるデジタル差別の検出と裏付けを可能にするフレームワークを提案する。言語コーパス（人間が作成したおよびAIが生成した両方）を活用して差別的パターンを特定し、ブラックボックスAIシステムの監査やエージェント自身のバイアス認識によるバイアス軽減を可能にする応用を提言する。

ABSTRACT

AI agents are increasingly deployed and used to make automated decisions that affect our lives on a daily basis. It is imperative to ensure that these systems embed ethical principles and respect human values. We focus on how we can attest to whether AI agents treat users fairly without discriminating against particular individuals or groups through biases in language. In particular, we discuss human unconscious biases, how they are embedded in language, and how AI systems inherit those biases by learning from and processing human language. Then, we outline a roadmap for future research to better understand and attest problematic AI biases derived from language.

研究の動機と目的

• 個人や集団に影響を及ぼす自動意思決定を行うAIシステムにおけるデジタル差別の増加という問題に対処すること。
• 人間の無意識的なバイアスが言語にどのようにエンコードされ、トレーニングデータを通じてNLPシステムに引き継がれるかを調査すること。
• 特にブラックボックスシステムにおいて使用される言語コーパスに内在する問題的なバイアスを検出するための手法を開発すること。
• AIが生成したテキストが、直接的なデータアクセスがなくてもトレーニングデータのバイアスの痕跡を明らかにできるかを検討し、不透明なモデルの間接的監査を可能にするかを調査すること。
• AIエージェントが自身が学習したバイアスを意味的分析を通じて認識・是正できる可能性を調査すること。

提案手法

• バイアスを示す意味的関連性を分析するために、人間が作成したおよびAIが生成した言語コーパスを活用する。
• 語彙埋め込み分析などの技術を用いて、言語モデルに内在する潜在的関連性（例：性別や人種に関するステレオタイプ）を検出する。
• 言語テキストにおける社会的カテゴリーと属性の関連の強さを検出するための概念的モデルとして、内向的関連テスト（IAT）を活用する。
• AIが生成したテキスト（例：パーソナルアシスタントのチャットログ）を分析することで、トレーニングデータに内在するバイアスを、データソースが不明であっても同定する。
• 人間ユーザーとの対話による強化学習システムにおけるバイアスの進化を、マイクロソフトのTayチャットボットなどの実世界の事例を用いて分析する。
• データ駆動型NLP手法と知識ベースの規範的システムを統合し、AIエージェントが自身のバイアスを認識・是正できるようにする。

実験結果

リサーチクエスチョン

• RQ1 人間の無意識的なバイアスはどのように言語にエンコードされ、NLPシステムに伝播するのか？
• RQ2 ブラックボックスAIシステムのトレーニングデータに存在するバイアスは、AIが生成したテキストコーパスのどの程度まで反映されるのか？
• RQ3 AIエージェントが使用する言語の意味的分析は、隠れた差別的パターンや社会的規範を明らかにできるか？
• RQ4 強化学習エージェントは、人間との対話によって社会的バイアスをどのように内部化し、拡散するのか？
• RQ5 AIエージェントが自身の学習バイアスを自己裏付けし、是正するためのメカニズムは何か？

主な発見

• 語彙埋め込みモデルは、『リーダー』を男性名前と関連づけ、『ヘルパー』を女性名前と関連づけるなど、強い性別ステレオタイプを示しており、NLPシステムが社会的バイアスを引き継いでいることを確認している。
• 検索エンジンでは、黒人を連想させる名前に対して白人を連想させる名前よりも、逮捕記録の関連付けが多く提示されることが観察されており、言語モデルが人種バイアスをエンコード・強化していることを示している。
• AIが生成したテキスト（例：パーソナルアシスタントのチャットログ）は、データソースが不明であっても、トレーニングデータに内在するバイアスの痕跡を反映している。
• マイクロソフトのTayのような強化学習システムは、ユーザーとの対話から急速に攻撃的または差別の的な言語を学習・拡散することができ、バイアスの拡大リスクを示している。
• ブラックボックスシステムの間接的監査やトレーニングデータの特徴を推定するために、AIが生成する言語の意味的分析の活用には強い可能性がある。
• データ駆動型NLPと規範的知識システムを統合することで、AIエージェントが自身のバイアスを認識・是正できるようになり、自己認識的で倫理的なAIの実現に向けた道筋が開ける。