[论文解读] Building Representative Corpora from Illiterate Communities: A Review of Challenges and Mitigation Strategies for Developing Countries

Stephanie Hirmer, Alycia Leonard+2 more|arXiv (Cornell University)|Feb 4, 2021

ICT in Developing Communities参考文献 87被引用 4

一句话总结

本文提出了一套框架，旨在从低收入国家的文盲、农村社区构建具有代表性的自然语言处理语料库，通过识别数据收集中的伦理与方法论挑战，并提出切实可行的缓解策略。该框架强调基于语音的数据收集、社区参与以及伦理责任管理，以减少偏见并确保自然语言处理研究的包容性。

ABSTRACT

Most well-established data collection methods currently adopted in NLP depend on the assumption of speaker literacy. Consequently, the collected corpora largely fail to represent swathes of the global population, which tend to be some of the most vulnerable and marginalised people in society, and often live in rural developing areas. Such underrepresented groups are thus not only ignored when making modeling and system design decisions, but also prevented from benefiting from development outcomes achieved through data-driven NLP. This paper aims to address the under-representation of illiterate communities in NLP corpora: we identify potential biases and ethical issues that might arise when collecting data from rural communities with high illiteracy rates in Low-Income Countries, and propose a set of practical mitigation strategies to help future work.

研究动机与目标

• 解决标准数据收集方法依赖读写能力和互联网接入，导致自然语言处理语料库中缺乏文盲、农村人口代表性的现象。
• 识别在低收入国家（特别是撒哈拉以南非洲地区）从文盲社区收集数据时面临的伦理与方法论挑战。
• 提出切实可行、符合语境的缓解策略，以减少偏见并确保数据收集与管理的伦理规范。
• 推动将边缘化、非文盲说话者纳入自然语言处理研究，以提升模型的公平性与全球代表性。
• 通过确保数据驱动的自然语言处理系统惠及最脆弱人群，支持可持续发展目标。

提出的方法

• 采用基于语音的数据收集方法，如音频访谈与口头叙事，以绕过读写能力要求。
• 利用本地中介人与社区代表建立信任，确保招募与知情同意过程的文化适宜性。
• 实施口头同意程序，辅以清晰、本地化的解释，确保文盲社区参与者的知情权。
• 应用匿名化技术，保护参与者身份、地理位置及文化敏感信息。
• 实施数据保护协议，包括安全存储与现场处理，同时向参与者保持透明沟通。
• 采用非金钱激励措施，或完全避免支付报酬，以防止强迫行为并符合当地规范，减少权力失衡。

实验结果

研究问题

• RQ1 在低收入国家的文盲、农村社区中收集自然语言处理语料库时，会面临哪些伦理与方法论挑战？
• RQ2 标准的自然语言处理数据收集方法（如众包、社交媒体爬取和书面问卷）为何无法代表文盲人群？
• RQ3 哪些策略可缓解从边缘化、非文盲社区收集数据时的偏见与权力失衡？
• RQ4 研究人员在低读写能力、农村环境中如何确保数据隐私、知情同意与参与者自主权？
• RQ5 哪些机制可减少研究疲劳，并在重复数据收集工作中确保社区反馈回路？

主要发现

• 标准的自然语言处理数据收集方法（如众包与网络爬取）因隐含假设参与者具备读写能力与互联网接入，而将文盲人群排除在外。
• 低收入农村地区普遍存在的高文盲率与基础设施薄弱，导致现有语料库中存在显著的人口统计偏差。
• 口头同意、本地中介人与社区参与在文盲环境中的伦理且高效的数据收集中至关重要。
• 对姓名、地理位置与文化标识符的匿名化处理对保护参与者隐私至关重要，尤其在民主制度薄弱的地区。
• 若未能与社区分享研究成果，可能导致研究疲劳，降低未来参与度，从而损害数据质量。
• 在礼物赠送可能暗示强迫的社区中，采用非金钱激励或完全不支付报酬，可能比金钱支付更具伦理性和语境适宜性。