[논문 리뷰] Exploiting Cultural Biases via Homoglyphs in Text-to-Image Synthesis

Lukas Struppek, Dominik Hintersdorf외 4명|arXiv (Cornell University)|2022. 09. 19.

Handwritten Text Recognition Techniques참고 문헌 54인용 수 9

한 줄 요약

이 논문은 텍스트 프롬프트에 시각적으로 유사한 비라틴 문자인 단일 호모글라이프를 삽입함으로써 DALL-E 2 및 스테이블 디퓨전과 같은 텍스트-이미지 모델에서 문화적 편향이 유도됨을 밝혀내며, 이는 해당 문자의 문화적 기원과 연관된 스테레오타입을 반영한다. 이를 완화하기 위해 저자는 전체 재학습 없이도 텍스트 인코더의 취약성을 줄이는 '호모글라이프 언러닝'이라는 피니테이닝 방법을 제안한다.

ABSTRACT

Models for text-to-image synthesis, such as DALL-E~2 and Stable Diffusion, have recently drawn a lot of interest from academia and the general public. These models are capable of producing high-quality images that depict a variety of concepts and styles when conditioned on textual descriptions. However, these models adopt cultural characteristics associated with specific Unicode scripts from their vast amount of training data, which may not be immediately apparent. We show that by simply inserting single non-Latin characters in a textual description, common models reflect cultural stereotypes and biases in their generated images. We analyze this behavior both qualitatively and quantitatively, and identify a model's text encoder as the root cause of the phenomenon. Additionally, malicious users or service providers may try to intentionally bias the image generation to create racist stereotypes by replacing Latin characters with similarly-looking characters from non-Latin scripts, so-called homoglyphs. To mitigate such unnoticed script attacks, we propose a novel homoglyph unlearning method to fine-tune a text encoder, making it robust against homoglyph manipulations.

연구 동기 및 목표

• 비라틴 호모글라이프가 텍스트-이미지 생성 과정에서 문화적 편향에 미치는 영향을 조사하는 것.
• 다중모odal 모델에서 스크립트 기반 문화적 편향의 근본 원인으로 텍스트 인코더를 규명하는 것.
• 단일 문자 호모글라이프 삽입이 특정 문화적 스테레오타입으로 향하는 이미지 생성을 암묵적이지만 의미 있게 변화시킬 수 있음을 보여주는 것.
• 전체 재학습 없이도 스크립트 기반 프롬프트 조작에 대한 모델의 강건성을 높이는 '호모글라이프 언러닝'이라는 완화 전략을 제안하는 것.
• 생성형 AI에서 숨겨진 편향에 대한 인식을 높이고 다중모달 시스템의 공정성을 증진하는 것.

제안 방법

• 저자는 표준 라틴 프롬프트에 한국 훈민정음, 인도 오리야어, 아랍어 등 다양한 비라틴 문자의 호모글라이프를 삽입하여 DALL-E 2 및 스테이블 디퓨전을 분석한다.
• 이미지 콘텐츠의 변화를 측정하기 위해 정성적 및 정량적 평가를 실시하며, 주로 얼굴 특징, 의상, 문화적 요소를 중심으로 분석한다.
• 근본 원인은 훈련 데이터에서 유래한 문화적 연관성을 인코더가 비라틴 문자에 민감하게 반응함으로써 발생함을 규명한다.
• 호모글라이프 치환에 대해 불변(invariant)이 되도록 텍스트 인코더를 조정하는 새로운 피니테이닝 방법인 '호모글라이프 언러닝'을 제안한다.
• 모델 성능을 유지하면서도 스크립트 삽입에 의한 편향을 감소시키기 위해 전체 재학습 없이 적용 가능한 방법이다.
• 예를 들어 '여배우의 사진'과 같은 프롬프트에 호모글라이프를 대체하여 실험을 수행하고, 다양한 스크립트와 모델 간 결과를 분석한다.

실험 결과

연구 질문

• RQ1 비라틴 스크립트에서 온 호모글라이프가 텍스트-이미지 생성 과정에서 문화적 표현에 어떤 영향을 미치는가?
• RQ2 단일 호모글라이프의 삽입이 생성된 이미지에 심각한 문화적 편향을 유도하는 이유는 무엇인가?
• RQ3 성능 저하 없이 텍스트 인코더를 호모글라이프 조작에 강건하게 만들 수 있는가?
• RQ4 다양한 유니코드 스크립트(예: 훈민정음, 오리야어, 아랍어)가 생성된 이미지에 반영되는 문화적 스테레오타입에 어느 정도의 영향을 미치는가?
• RQ5 이러한 편향이 생성형 AI의 공정성, 사용자 주도성, 잠재적 오용에 미치는 영향은 무엇인가?

주요 결과

• 한국 훈민정음이나 인도 오리야어와 같은 비라틴 스크립트의 단일 호모글라이프를 프롬프트에 삽입하면 DALL-E 2 및 스테이블 디퓨전이 동아시아 또는 남아시아의 얼굴 특징과 복장과 같은 특정 문화적 스테레오타입을 반영하는 이미지를 생성한다.
• 텍스트 인코더는 훈련 데이터에서 유래한 문화적 연관성을 저장하기 때문에 스크립트 기반 문화적 편향의 주요 원인으로 규명된다.
• 호모글라이프 언러닝은 호모글라이프에 의한 편향을 성공적으로 감소시키며, 인코더가 이러한 문자 치환에 대해 불변이 되도록 한다.
• 전체 재학습 없이도 호모글라이프 공격에 대한 강건성을 확보하면서도 이미지 품질과 의미적 정밀도를 유지한다.
• 편향 효과는 암묵적이지만 인지 가능하며, 사용자가 조작을 인지하지 못할 경우 악성 스테레오타입 강화에 악용될 수 있다.
• 이 현상은 다양한 모델과 스크립트 간에 일관되며, 다양한 인터넷 데이터로 훈련된 다중모달 모델에서 널리 퍼져 있는 문제임을 시사한다.