[論文レビュー] Exploiting Cultural Biases via Homoglyphs in Text-to-Image Synthesis

Lukas Struppek, Dominik Hintersdorf+4 more|arXiv (Cornell University)|Sep 19, 2022

Handwritten Text Recognition Techniques参考文献 54被引用数 9

ひとこと要約

この論文は、DALL-E 2 や Stable Diffusion などのテキスト-to-画像モデルに、視覚的に類似した非ラテン文字（同形文字）を1つ挿入することで、その文字の文化的起源に関連するステレオタイプを反映する文化的バイアスが生じることを明らかにしている。これを是正するため、再トレーニングを必要とせず、テキストエンコーダーの脆弱性を解消する「同形文字アンラーニング」というファインチューニング手法を提案している。

ABSTRACT

Models for text-to-image synthesis, such as DALL-E~2 and Stable Diffusion, have recently drawn a lot of interest from academia and the general public. These models are capable of producing high-quality images that depict a variety of concepts and styles when conditioned on textual descriptions. However, these models adopt cultural characteristics associated with specific Unicode scripts from their vast amount of training data, which may not be immediately apparent. We show that by simply inserting single non-Latin characters in a textual description, common models reflect cultural stereotypes and biases in their generated images. We analyze this behavior both qualitatively and quantitatively, and identify a model's text encoder as the root cause of the phenomenon. Additionally, malicious users or service providers may try to intentionally bias the image generation to create racist stereotypes by replacing Latin characters with similarly-looking characters from non-Latin scripts, so-called homoglyphs. To mitigate such unnoticed script attacks, we propose a novel homoglyph unlearning method to fine-tune a text encoder, making it robust against homoglyph manipulations.

研究の動機と目的

• 非ラテン文字の同形文字がテキスト-to-画像生成における文化的バイアスに与える影響を調査すること。
• マルチモーダルモデルにおけるスクリプトベースの文化的バイアスの根本的原因として、テキストエンコーダーを同定すること。
• 1文字の同形文字の挿入が、特定の文化的ステレオタイプに向けた画像生成をわずかだが顕著に変化させることを示すこと。
• 完全な再トレーニングを必要とせず、スクリプトベースのプロンプト改ざんに対して耐性を持つ「同形文字アンラーニング」という是正戦略を提案すること。
• 生成的AIにおける隠れたバイアスの存在に気づきを呼び、マルチモーダルシステムにおける公平性を促進すること。

提案手法

• 著者たちは、DALL-E 2 や Stable Diffusion に、韓国語のハングル、インドのオリヤ語、アラビア文字などの同形文字を標準的なラテン文字プロンプトに挿入して分析している。
• 画像生成内容の変化を測定するために、質的および定量的評価を実施し、顔貌、衣服、文化的特徴に注目している。
• 根本的原因は、トレーニングデータからの文化的関連性をエンコードするテキストエンコーダーの非ラテン文字の文字に敏感な反応にあると特定している。
• 同形文字の置換に対して不変となるようにテキストエンコーダーを適応させる、新しいファインチューニング手法「同形文字アンラーニング」を提案している。
• 完全な再トレーニングを伴わず、モデルの性能を維持したまま、スクリプト挿入によるバイアスを低減できる。
• 「俳優の写真」といったプロンプトに同形文字を置換して実験を行い、複数のスクリプトおよびモデルを対象に結果を分析している。

実験結果

リサーチクエスチョン

• RQ1 非ラテンスクリプト由来の同形文字は、テキスト-to-画像生成における文化的表現にどのように影響を与えるか？
• RQ2 1つの同形文字の挿入が、生成画像における顕著な文化的バイアスを引き起こす理由は何か？
• RQ3 性能を損なわせることなく、テキストエンコーダーを同形文字改ざんに対して耐性を持たせることは可能か？
• RQ4 ハングル、オリヤ語、アラビア文字などの異なるユニコードスクリプトは、生成画像に反映される文化的ステレオタイプにどの程度影響を与えるか？
• RQ5 このようなバイアスが、公平性、ユーザーの意思決定、および生成的AIにおける悪用の可能性に与える影響は何か？

主な発見

• 韓国語のハングルやインドのオリヤ語などの非ラテンスクリプト由来の同形文字1つをプロンプトに挿入するだけで、DALL-E 2 や Stable Diffusion が東アジアや南アジアの顔貌や衣装といった特定の文化的ステレオタイプを反映する画像を生成することが判明した。
• テキストエンコーダーが、トレーニングデータからの文化的関連性をエンコードしていることから、スクリプトベースの文化的バイアスの主な要因であると特定された。
• 同形文字アンラーニングは、同形文字によるバイアスを著しく低減し、テキストエンコーダーがこのような文字置換に対して不変であることを実証した。
• 完全な再トレーニングを要せず、画像品質と意味的整合性を維持したまま、同形文字攻撃に対して耐性を持つことを達成した。
• バイアス効果はわずかだが明確に認識可能であり、特にユーザーが操作に気づいていない場合、有害なステレオタイプを強化する目的で悪用される可能性がある。
• この現象は、複数のモデルおよびスクリプトで一貫しており、多様なインターネットデータでトレーニングされたマルチモーダルモデルに広く見られる問題であることが示された。