[論文レビュー] Building Representative Corpora from Illiterate Communities: A Review of Challenges and Mitigation Strategies for Developing Countries

Stephanie Hirmer, Alycia Leonard+2 more|arXiv (Cornell University)|Feb 4, 2021

ICT in Developing Communities参考文献 87被引用数 4

ひとこと要約

本論文は、低所得国における文盲で農村部のコミュニティから代表的なNLPコーパスを構築するためのフレームワークを提案する。標準的なデータ収集手法に依存する文盲性とインターネットアクセスの要件によって、こうしたコミュニティがNLPコーパスに十分に反映されていない問題を踏まえ、倫理的・方法論的課題を特定し、実用的な緩和戦略を提示する。音声ベースのデータ収集、コミュニティ参加、倫理的管理の強調により、NLP研究におけるバイアス低減と包括性の確保を図る。

ABSTRACT

Most well-established data collection methods currently adopted in NLP depend on the assumption of speaker literacy. Consequently, the collected corpora largely fail to represent swathes of the global population, which tend to be some of the most vulnerable and marginalised people in society, and often live in rural developing areas. Such underrepresented groups are thus not only ignored when making modeling and system design decisions, but also prevented from benefiting from development outcomes achieved through data-driven NLP. This paper aims to address the under-representation of illiterate communities in NLP corpora: we identify potential biases and ethical issues that might arise when collecting data from rural communities with high illiteracy rates in Low-Income Countries, and propose a set of practical mitigation strategies to help future work.

研究の動機と目的

• 標準的なデータ収集手法が文盲性とインターネットアクセスに依存するため、NLPコーパスにおける文盲で農村部の人口の代表不全を是正すること。
• 特にサハラ以南アフリカを含む低所得国（LICs）における文盲コミュニティからのデータ収集における倫理的・方法論的課題を特定すること。
• バイアス低減と倫理的データ収集・管理を実現するための実用的で文脈に即した緩和戦略を提示すること。
• 偏見の強い非文盲話者をNLP研究に含めることで、モデルの公平性と世界的な代表性を向上させること。
• データドリブンなNLPシステムが最も脆弱な人々に恩恵をもたらすように、持続可能な開発の成果を支援すること。

提案手法

• 文盲性の要件を回避するため、音声インタビュー や口述物語などの音声ベースのデータ収集手法を採用する。
• 信頼構築と文化的適合性を確保するため、地域のパイプ役やコミュニティ代表者を活用して参加者募集と同意プロセスを実施する。
• 参加者の理解を確実にするために、明確で現地に即した説明を用いた口頭による同意手続を実施する。
• 個人識別情報、場所、文化的に敏感な情報を保護するため、データに匿名化処理を施す。
• 参加者に対して透明性を保つため、安全な保存と現地での取り扱いを含むデータ保護プロトコルを実装する。
• 報酬の支払いを避けたり、非金銭的インcentiveを用いたりすることで、強制的要因を回避し、地域の慣習に即した状況を維持する。

実験結果

リサーチクエスチョン

• RQ1 低所得国における文盲で農村部のコミュニティからNLPコーパスを収集する際、どのような倫理的・方法論的課題が生じるか？
• RQ2 クラウドソーシング、ソーシャルメディアのスクレイピング、書面によるアンケートといった標準的なNLPデータ収集手法は、なぜ文盲人口を正しく反映できないのか？
• RQ3 偏見と権力の不均衡を低減するため、弱い立場の非文盲コミュニティからのデータ収集にどのような戦略が有効か？
• RQ4 低学力で農村部の環境において、データのプライバシー、同意の明確化、参加者の自立性をどのように保証できるか？
• RQ5 繰り返しのデータ収集作業において、研究の疲弊を減らし、コミュニティからのフィードバックループを確立するためのメカニズムは何か？

主な発見

• クラウドソーシング やウェブスクレイピング といった標準的なNLPデータ収集手法は、文盲性とインターネットアクセスを暗黙の前提としているため、文盲人口を除外する。
• 低所得国の農村部では高い文盲率とインfraストラクチャーの不足が、既存のコーパスにおける顕著な人口統計的歪みを引き起こしている。
• 口頭による同意、地域のパイプ役、コミュニティ参加は、文盲環境における倫理的かつ効果的なデータ収集に不可欠である。
• 個人名、場所、文化的識別子の匿名化は、民主的制度が弱い地域では特に、参加者のプライバシー保護に不可欠である。
• 研究の結果をコミュニティに共有しないと、研究の疲弊が生じ、将来的な参加意欲が低下し、結果としてデータ品質が損なわれる。
• 贈り物が強制的であると解釈される地域では、非金銭的インcentive または報酬なしの方法が、金銭的報酬よりも倫理的かつ文脈に適している可能性がある。