[論文レビュー] A "Perspectival" Mirror of the Elephant: Investigating Language Bias on Google, ChatGPT, YouTube, and Wikipedia

Queenie Luo, Michael Puett+1 more|arXiv (Cornell University)|Mar 28, 2023

Text Readability and Simplification被引用数 4

ひとこと要約

本論文は、Google、ChatGPT、YouTube、Wikipediaといった主要なオンラインプラットフォームにおける言語バイアスを調査し、検索結果が検索言語に結びついた文化的な支配的視点を反映しており、ユーザーが自分自身の文化的な自己像しか見ない「視点的」な鏡効果を生じさせることを示している。研究では、特に『ブッダ』や『植民地主義』といった複雑なトピックにおいて、言語ごとの情報カバレッジに体系的な格差が生じていることが明らかになった。これは、多様でバランスの取れた情報へのアクセスという約束を損なうものである。

ABSTRACT

Contrary to Google Search's mission of delivering information from "many angles so you can form your own understanding of the world," we find that Google and its most prominent returned results - Wikipedia and YouTube - simply reflect a narrow set of culturally dominant views tied to the search language for complex topics like "Buddhism," "Liberalism," "colonization," "Iran" and "America." Simply stated, they present, to varying degrees, distinct information across the same search in different languages, a phenomenon we call language bias. This paper presents evidence and analysis of language bias and discusses its larger social implications. We find that our online searches and emerging tools like ChatGPT turn us into the proverbial blind person touching a small portion of an elephant, ignorant of the existence of other cultural perspectives. Language bias sets a strong yet invisible cultural barrier online, where each language group thinks they can see other groups through searches, but in fact, what they see is their own reflection.

研究の動機と目的

• Google、YouTube、Wikipedia、ChatGPTといった主要なオンラインプラットフォームから得られる情報が、言語によってどのように影響を受けるかを調査すること。
• 複雑で文化的に敏感なトピックにおける、異なる言語間でのコンテンツ表現の体系的格差を明らかにすること。
• 検索エンジンが世界の多面的な視点をバランスよく提供すると仮定する考えを疑問視すること。
• 言語バイアスがデジタル情報アクセスにおける見えない文化的障壁として機能する仕組みを強調すること。
• AIおよび検索システムにおけるアルゴリズム的公平性と表現的公平性に関する批判的議論に貢献すること。

提案手法

• 『ブッダ』『リベラリズム』『植民地主義』『イラン』『アメリカ』という5つの複雑なトピックについて、英語、中国語、アラビア語、スペイン語などの複数の言語で比較分析を実施。
• 同じクエリを異なる言語で入力し、Google検索、YouTube、Wikipedia、ChatGPTの結果を収集・分析。
• 返された結果におけるコンテンツの多様性、フレーミング、文化的視点の表現を評価。
• 定性的および定量的評価を用いて、言語グループごとの情報の深さと範囲を比較。
• 盲人が象を触るという比喩を用い、各言語グループが複雑なトピックの部分的で文化的にフィルタリングされたバージョンしか認識しないことを説明。
• 特に西洋以外の視点が欠落しているか歪められている非英語結果に、パターンを特定。

実験結果

リサーチクエスチョン

• RQ1 Google、YouTube、Wikipedia、ChatGPTにおける、複雑なトピックの検索結果は、言語によってどのように異なるか？
• RQ2 これらのプラットフォームは、多様なグローバルな視点ではなく、文化的に支配的な視点をどれほど反映しているか？
• RQ3 言語バイアスは、『植民地主義』や『リベラリズム』といったグローバルな問題に対するユーザーの認識に、どのように影響を与えるか？
• RQ4 ChatGPTが生成するAI回答は、言語に特有の文化的バイアスをどのように反映または強化しているか？
• RQ5 言語バイアスは、デジタル情報エコシステムにおける社会的影響をどのように及えるか？

主な発見

• 『ブッダ』や『植民地主義』といったトピックの検索結果では、言語ごとにコンテンツ、フレーミング、文化的表現に顕著な格差が見られた。
• 中国語、アラビア語、スペイン語などの非英語結果は、英語結果と比較して一貫して視点が欠落しているか、誤解を招く表現がなされていた。
• WikipediaおよびYouTubeの結果は、検索言語の言語的・文化的文脈に強く影響を受けており、支配的ナラティブを強化していた。
• 非英語言語でのChatGPTの回答は、事実の多様性が低く、文化的に支配的な見解に強く一致していた。
• 本研究は、異なる言語コミュニティのユーザーが、同じトピックの根本的に異なるバージョンにアクセスしていることを確認しており、断片的で視点に制限された世界観の形成を生じさせている。
• 言語バイアスは見えない障壁として機能し、ユーザーはグローバルな視点にアクセスしていると思い込んでいるが、実際には自分自身の文化的文脈の反映を見ているにすぎない。