[論文レビュー] Is Machine Learning Speaking my Language? A Critical Look at the NLP-Pipeline Across 8 Human Languages

Esma Wali, Yan Chen+5 more|arXiv (Cornell University)|Jul 11, 2020

Topic Modeling参考文献 18被引用数 10

ひとこと要約

この論文は、英語、中国語、ウルドゥ語、ペルシャ語、アラビア語、フランス語、スペイン語、ウロフ語の8言語におけるNLPパイプラインを厳密に検証し、技術的なマルチリンガル対応があるにもかかわらず、データバイアスと言語的不平等が原因で、体系的な未代表化が依然として存在することを明らかにした。著者らは、言語がサポートされている場合でさえ、NLPシステムが支配的言語の声を強調し、他の言語を疎外することで、AI駆動意思決定における公平性を損なうことを示した。

ABSTRACT

Natural Language Processing (NLP) is increasingly used as a key ingredient in critical decision-making systems such as resume parsers used in sorting a list of job candidates. NLP systems often ingest large corpora of human text, attempting to learn from past human behavior and decisions in order to produce systems that will make recommendations about our future world. Over 7000 human languages are being spoken today and the typical NLP pipeline underrepresents speakers of most of them while amplifying the voices of speakers of other languages. In this paper, a team including speakers of 8 languages - English, Chinese, Urdu, Farsi, Arabic, French, Spanish, and Wolof - takes a critical look at the typical NLP pipeline and how even when a language is technically supported, substantial caveats remain to prevent full participation. Despite huge and admirable investments in multilingual support in many tools and resources, we are still making NLP-guided decisions that systematically and dramatically underrepresent the voices of much of the world.

研究の動機と目的

• 技術的マルチリンガル対応が進んでも、非支配的言語が体系的に代表されない理由を調査すること。
• 非支配的言語話者がNLPシステムに均等に参加できない言語的・技術的障壁を同定すること。
• レsumeスクリーニングなどのハイリスク意思決定システムにおけるNLPバイアスの現実的影響を強調すること。
• 多様な言語の話者からの直接的な入力を通じて、参加型で言語を含む設計をNLP開発に推進すること。

提案手法

• 母語話者である研究者8名が使用する8言語を用いて、横断的言語分析を実施した。
• 各言語の訓練データ、トークン化、下流NLPタスクにおける代表性を評価した。
• spaCy や Hugging Face などのNLPツールキットを用いて、言語ごとの差異を定性的・定量的に評価した。
• 母語話者からのフィードバックを収集し、NLP出力の言語的・文化的整合性を評価した。
• トークン化、埋め込み、分類などのパイプライン段階をマッピングし、言語バイアスがどこで生じるかを特定した。
• 参加型デザインの原則に従い、母語話者専門家と共同でシステム性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 現在のNLPパイプラインは、基本的なトークン化を越えて、非支配的言語をどの程度サポートしているか。
• RQ2 言語的・文化的な違いが、多様な言語におけるNLPシステムのパフォーマンスと公平性にどのように影響するか。
• RQ3 NLPツールキットとデータに埋め込まれた体系的バイアスは、特定の言語の未代表化を引き起こす要因となるか。
• RQ4 母語話者が、マルチリンガルNLPシステムの評価と改善にどのように意味のある貢献ができるか。
• RQ5 ハーリングやリクルートメントなどのハイリスク応用におけるNLPバイアスの現実的影響は何か。

主な発見

• 言語が技術的にサポートされていても、データ不足とモデルバイアスのため、言語の微妙な特徴を捉えきれないことがある。
• ウロフ語、ウルドゥ語、ペルシャ語は、英語や中国語と比較してNLPパフォーマンスが著しく低下しており、マルチリンガルツールキットに含まれても同様の問題が生じた。
• トークン化やサブワードセグメンテーション手法は、語形変化の豊かな言語を誤って表現する傾向があり、下流タスクの正確性を著しく低下させる。
• 母語話者らは、非母語話者評価者には見えなかった文化的・構文的不一致をNLP出力で特定した。
• 本研究では、マルチリンガルNLPツールが、支配的言語話者の声を強調し、他の言語を疎外することを明らかにした。これは公式にサポートされている言語に対しても同様に発生した。
• 母語話者との参加型評価により、モデル行動やデータキュレーション実務に以前に発見されていなかったバイアスが明らかになった。