[논문 리뷰] Building Representative Corpora from Illiterate Communities: A Review of Challenges and Mitigation Strategies for Developing Countries

Stephanie Hirmer, Alycia Leonard외 2명|arXiv (Cornell University)|2021. 02. 04.

ICT in Developing Communities참고 문헌 87인용 수 4

한 줄 요약

이 논문은 저소득국의 문맹이면서 농촌 주민들로부터 대표성 있는 NLP 코퍼스를 구축하기 위한 프레임워크를 제안한다. 데이터 수집 과정에서 발생하는 윤리적 및 방법론적 과제를 식별하고 실용적인 완화 전략을 제시함으로써, 음성 기반 데이터 수집, 지역 사회 참여, 윤리적 관리의 강조를 통해 NLP 연구에서 편향을 줄이고 포용성을 확보한다.

ABSTRACT

Most well-established data collection methods currently adopted in NLP depend on the assumption of speaker literacy. Consequently, the collected corpora largely fail to represent swathes of the global population, which tend to be some of the most vulnerable and marginalised people in society, and often live in rural developing areas. Such underrepresented groups are thus not only ignored when making modeling and system design decisions, but also prevented from benefiting from development outcomes achieved through data-driven NLP. This paper aims to address the under-representation of illiterate communities in NLP corpora: we identify potential biases and ethical issues that might arise when collecting data from rural communities with high illiteracy rates in Low-Income Countries, and propose a set of practical mitigation strategies to help future work.

연구 동기 및 목표

• 표준 데이터 수집 방법에서 독서 능력과 인터넷 접근성에 의존함으로써, NLP 코퍼스에서 문맹이면서 농촌 주민들의 부족한 대표성을 해결하기 위해.
• 특히 사하라 이남 아프리카 지역을 중심으로, 저소득국(LICs)의 문맹 주민들로부터 데이터를 수집할 때 발생하는 윤리적 및 방법론적 과제를 식별하기 위해.
• 편향을 줄이고 윤리적인 데이터 수집 및 관리 보장을 위한 실용적이고 맥락에 민감한 완화 전략을 제안하기 위해.
• 모델의 공정성과 글로벌 대표성을 향상시키기 위해, 간과당한 비문맹 어조어 사용자들을 NLP 연구에 포함시키기 위해.
• 가장 취약한 집단이 데이터 기반 NLP 시스템의 혜택을 받을 수 있도록 지속 가능한 개발 성과를 지원하기 위해.

제안 방법

• 독서 능력이 필요 없도록 음성 기반 데이터 수집 방법(예: 오디오 인터뷰, 구술 이야기 전달)을 채택하기 위해.
• 신뢰를 구축하고 문화적 적합성을 확보하기 위해 지역 사회의 중개자 및 대표자들을 활용하기 위해.
• 참여자가 잘 이해할 수 있도록 지역에 맞는 명확한 설명을 포함한 구두 동의 절차를 시행하기 위해.
• 수집된 데이터에서 신원, 위치, 문화적으로 민감한 정보를 보호하기 위해 익명화 기법을 적용하기 위해.
• 안전한 저장 및 현장 처리를 포함한 데이터 보호 절차를 시행하고, 참가자들과 투명하게 소통하기 위해.
• 지역 규범과 부합하고 권력 격차를 줄이기 위해, 보상 대신 비재정적 인centive를 사용하거나 보상 자체를 피하기 위해.

실험 결과

연구 질문

• RQ1 저소득국의 문맹 농촌 주민들로부터 NLP 코퍼스를 수집할 때 발생하는 윤리적 및 방법론적 과제는 무엇인가요?
• RQ2 표준 NLP 데이터 수집 방법(예: 커뮤니티 기반 작업, 소셜 미디어 스크래핑, 서면 설문조사)은 왜 문맹 인구를 충분히 반영하지 못합니까?
• RQ3 간과당한 비문맹 주민들로부터 데이터를 수집할 때 편향과 권력 격차를 완화하기 위한 전략은 무엇인가요?
• RQ4 낮은 독서 능력과 농촌 환경에서, 연구자가 데이터 프라이버시, 충분한 정보 제공 및 참가자 자율성을 어떻게 확보할 수 있나요?
• RQ5 반복적인 데이터 수집 노력에서 연구 피로를 줄이고 공동체의 피드백 루프를 확보하기 위한 메커니즘은 무엇인가요?

주요 결과

• 표준 NLP 데이터 수집 방법(예: 커뮤니티 기반 작업, 웹 스크래핑)은 암묵적인 독서 능력과 인터넷 접근성의 가정으로 인해 문맹 인구를 배제한다.
• 저소득국의 농촌 지역에서는 높은 문맹률과 제한된 인프라로 인해 기존 코퍼스에서 심각한 인구 통계적 오대표성이 발생한다.
• 구두 동의, 지역 사회 중개자, 공동체 참여는 문맹 환경에서 윤리적이고 효과적인 데이터 수집을 위해 필수적이다.
• 특히 민주적 제도가 약한 지역에서는 이름, 위치, 문화적 식별자 익명화가 참가자의 프라이버시를 보호하기 위해 매우 중요하다.
• 연구 결과를 공동체와 공유하지 못하면 연구 피로가 누적되고 향후 참여가 줄어들어 데이터 품질에 악영향을 미칠 수 있다.
• 선물 제공가능성이 강요로 해석될 수 있는 지역 사회에서는, 비재정적 인센티브 또는 보상 없이 진행하는 것이 더 윤리적이고 맥락에 부합한다.