[논문 리뷰] A "Perspectival" Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, YouTube, and Wikipedia

Queenie Luo, Michael Puett외 1명|arXiv (Cornell University)|2023. 03. 28.

Text Readability and Simplification인용 수 4

한 줄 요약

이 논문은 Google, ChatGPT, YouTube, 위키백과와 같은 주요 온라인 플랫폼에서의 언어적 편향을 조사하며, 검색 결과가 검색어 언어와 연결된 문화적으로 지배적인 관점 반영함으로써 사용자가 오직 자신의 문화적 반영만을 보게 되는 '관점의 거울 효과'를 드러낸다. 연구는 특히 '불교'와 '식민지주의'와 같은 복잡한 주제에서 언어 간 정보 커버리지의 체계적 격차를 폭 드러내며, 다양한 균형 잡힌 정보 접근의 약속을 훼손한다.

ABSTRACT

Contrary to Google Search's mission of delivering information from "many angles so you can form your own understanding of the world," we find that Google and its most prominent returned results - Wikipedia and YouTube - simply reflect a narrow set of culturally dominant views tied to the search language for complex topics like "Buddhism," "Liberalism," "colonization," "Iran" and "America." Simply stated, they present, to varying degrees, distinct information across the same search in different languages, a phenomenon we call language bias. This paper presents evidence and analysis of language bias and discusses its larger social implications. We find that our online searches and emerging tools like ChatGPT turn us into the proverbial blind person touching a small portion of an elephant, ignorant of the existence of other cultural perspectives. Language bias sets a strong yet invisible cultural barrier online, where each language group thinks they can see other groups through searches, but in fact, what they see is their own reflection.

연구 동기 및 목표

• Google, YouTube, 위키백과, ChatGPT와 같은 주요 온라인 플랫폼에서 정보를 검색할 때 언어가 어떻게 영향을 미치는지 조사하기.
• 복잡하고 문화적으로 민감한 주제에서 다양한 언어 간 콘텐츠 표현의 체계적 격차 폭 드러내기.
• 검색 엔진이 세계를 다각도로 반영하는 균형 잡힌 시각을 제공한다는 가정에 도전하기.
• 언어 편향이 디지털 정보 접근에서 보이지 않는 문화적 장벽으로 작용하는 방식을 부각하기.
• AI 및 검색 시스템에서 알고리즘의 공정성과 표현적 형평성에 대한 비판적 논의에 기여하기.

제안 방법

• 복잡한 주제 다섯 가지—'불교', '자유주의', '식민지주의', '이란', '미국'—에 대해 영어, 중국어, 아랍어, 스페인어 등 여러 언어로 비교 분석을 수행함.
• 동일한 질의를 다양한 언어로 입력하여 Google 검색, YouTube, 위키백과, ChatGPT의 결과를 수집하고 분석함.
• 반환된 결과의 콘텐츠 다양성, 프레임, 문화적 관점의 표현을 평가함.
• 정성적 및 정량적 평가를 통해 언어 집단 간 정보의 깊이와 범위를 비교함.
• 각 언어 집단이 복잡한 주제를 문화적으로 필터링된 부분적인 관점으로만 인식하는 것을 설명하기 위해 '맹인들이 낙타를 만진다'는 은유를 적용함.
• 비영어권 결과, 특히 비서구적 관점에서의 부족한 표현과 왜곡된 서사 패턴을 특정함.

실험 결과

연구 질문

• RQ1 Google, YouTube, 위키백과, ChatGPT에서 복잡한 주제에 대한 검색 결과가 언어에 따라 어떻게 달라지나?
• RQ2 이 플랫폼들이 다각도의 세계 시각이 아닌 지배적인 문화적 관점만 반영하는 정도는 어느 정도인가?
• RQ3 언어 편향이 '식민지주의'나 '자유주의'와 같은 글로벌 문제에 대한 사용자의 인식에 어떻게 영향을 미치는가?
• RQ4 ChatGPT에서 생성된 AI 응답이 언어별로 특화된 문화적 편향을 어떻게 반영하거나 악화시키는가?
• RQ5 디지털 정보 생태계에서 언어 편향의 사회적 영향은 무엇인가?

주요 결과

• '불교'와 '식민지주의'와 같은 주제에 대한 검색 결과에서 언어 간 콘텐츠, 프레임, 문화적 표현에 중대한 격차가 확인됨.
• 특히 중국어, 아랍어, 스페인어 결과에서 영어 결과에 비해 비영어권 관점의 지속적인 부족 또는 오용이 나타남.
• 위키백과와 유튜브 결과는 검색어 언어의 언어적·문화적 맥락에 크게 영향을 받아 지배적인 서사를 강화함.
• 비영어권 언어로 제공된 ChatGPT 응답은 사실적 다양성이 낮고, 지배적인 문화적 관점과 높은 일치를 보임.
• 연구는 사용자들이 동일한 주제에 대해 기본적으로 다른 버전의 정보에 접근하고 있음을 확인하며, 이는 분열된, 관점에 국한된 세계관을 만들어냄.
• 언어 편향은 사용자가 글로벌 관점을 접하고 있다고 믿지만 실제로는 자신의 문화적 맥락의 반영만을 보게 하는 보이지 않는 장벽으로 작용함.