[논문 리뷰] Text to Image Generation: Leaving no Language Behind

Pedro Reviriego, Elena Merino-Gómez|arXiv (Cornell University)|2022. 08. 19.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 영어, 스페인어, 바스크어, 라틴어에서 작동하는 주요 텍스트-이미지 생성기—DALL-E2, MidJourney, Craiyon—의 성능을 조사한다. 비영어어 및 자원이 적은 언어에서 특히 라틴어와 바스크어에서 영상 품질이著しく 떨어지는 것으로 나타났으며, 다국어 일致성을 향상시키기 위해 영어로의 기계 번역을 사용하는 스케일링 가능한 솔루션을 제안한다.

ABSTRACT

One of the latest applications of Artificial Intelligence (AI) is to generate images from natural language descriptions. These generators are now becoming available and achieve impressive results that have been used for example in the front cover of magazines. As the input to the generators is in the form of a natural language text, a question that arises immediately is how these models behave when the input is written in different languages. In this paper we perform an initial exploration of how the performance of three popular text-to-image generators depends on the language. The results show that there is a significant performance degradation when using languages other than English, especially for languages that are not widely used. This observation leads us to discuss different alternatives on how text-to-image generators can be improved so that performance is consistent across different languages. This is fundamental to ensure that this new technology can be used by non-native English speakers and to preserve linguistic diversity.

연구 동기 및 목표

• 다양한 언어, 특히 널리 쓰이는 언어와 자원이 적은 언어에서 현재의 텍스트-이미지 생성기가 어떻게 작동하는지 평가하기 위해.
• 소수어나 고전어인 바스크어나 라틴어처럼 고립된 언어를 사용할 경우 성능 저하가 어느 정도인지 규명하기 위해.
• 텍스트-이미지 생성에서 다국어 간 일관성을 달성하기 위한 실현 가능한 기술적 길을 탐색하기 위해.
• 글로벌 언어 다양성을 지원하기 위해 AI 기반 이미지 생성 시스템에서 언어적 포용성을 촉진하기 위해.

제안 방법

• 영어, 스페인어, 바스크어, 라틴어에서 동일한 텍스트 프롬프트를 사용하여 공개된 세 개의 텍스트-이미지 생성기—DALL-E2, MidJourney, Craiyon—을 평가하였다.
• 초기 프롬프트 번역을 위해 Google 번역을 사용하였으며, 어원적 정확성을 확보하기 위해 모국어 사용자와 라틴어 전문가가 검토 및 수정하였다.
• 기차, 스키어, 주방, 코끼리, 거실의 다섯 가지 주제를 기준으로 표준화된 프롬프트를 사용하여 이미지를 생성하였다.
• 의미적 충실도와 시각적 일관성에 중점을 두고, 언어와 모델 간의 출력 품질을 시각적으로 비교하였다.
• 언어 감지 및 번역 모듈을 포함한 모듈식 접근 방식을 제안하여, 비영어 입력을 생성기로 보내기 전에 영어로 사전 처리하도록 하였다.
• 다국어 데이터셋으로 학습하는 것과 비교해, 기존 기계 번역 시스템을 활용하는 것이 스케일성과 유지보수성 측면에서 어떤 이행적 차이를 보이는지 논의하였다.

실험 결과

연구 질문

• RQ1 입력 프롬프트가 비영어 언어일 경우 최신 텍스트-이미지 생성기의 성능은 어떻게 변하는가?
• RQ2 바스크어와 같이 고립된 언어이거나 라틴어와 같은 고전어처럼 자원이 적은 언어에서 성능 저하는 어느 정도로 나타나는가?
• RQ3 기계 번역을 텍스트-이미지 파이프라인에 효과적으로 통합하여 다국어 일관성을 향상시킬 수 있는가?
• RQ4 다국어 데이터셋으로 학습하는 것과 번역 기반 사전 처리를 사용하는 것 사이의 실용적이고 계산적 이행적 차이는 무엇인가?

주요 결과

• DALL-E2, MidJourney, Craiyon의 세 텍스트-이미지 생성기 모두 라틴어 프롬프트에서 영상 생성 시 상당한 성능 저하를 보였으며, 의도한 장면을 포착하지 못하는 경우가 많았다.
• 유사어가 없는 언어 고립어인 바스크어에 대해서도 모든 생성기가 저해상도이거나 의미적으로 정확하지 않은 이미지를 생성하여, 비인도·계열어 언어에 대한 지원이 열악함을 시사했다.
• 로망스어계의 널리 쓰이는 언어인 스페인어는 영어 대비 중간 정도의 성능 저하를 보였지만, 객체 배치 및 세부 사항에서 눈에 띄는 일관성 없는 결과를 보였다.
• 비영어 프롬프트에서 생성된 이미지의 시각적 품질과 의미적 정확도는 자원이 적은 언어에서 특히 낮게 나타났다.
• 현재 생성기가 다국어 텍스트-이미지 쌍을 대규모로 학습한 근거는 발견되지 않았으며, 성능 차이가 모델 아키텍처가 아니라 데이터 부족에서 기인함을 시사한다.
• 기계 번역을 사전 처리 단계로 통합하는 것이, 다국어 데이터셋으로 모델을 재학습시키는 것과 비교해 실현 가능하고 스케일링이 가능하며 유연한 대안으로 확인되었다.