[論文レビュー] Text to Image Generation: Leaving no Language Behind

Pedro Reviriego, Elena Merino-Gómez|arXiv (Cornell University)|Aug 19, 2022

Multimodal Machine Learning Applications被引用数 12

ひとこと要約

本稿は、DALL-E2、MidJourney、Craiyonの3つの代表的なテキスト対画像生成モデルが、英語、スペイン語、バスク語、ラテン語の4言語において果たす性能を調査している。非英語および低リソース言語、特にラテン語とバスク語では画像品質に顕著な低下が見られ、多言語の一貫性を向上させるためのスケーラブルな解決策として、英語への機械翻訳を活用する手法を提案している。

ABSTRACT

One of the latest applications of Artificial Intelligence (AI) is to generate images from natural language descriptions. These generators are now becoming available and achieve impressive results that have been used for example in the front cover of magazines. As the input to the generators is in the form of a natural language text, a question that arises immediately is how these models behave when the input is written in different languages. In this paper we perform an initial exploration of how the performance of three popular text-to-image generators depends on the language. The results show that there is a significant performance degradation when using languages other than English, especially for languages that are not widely used. This observation leads us to discuss different alternatives on how text-to-image generators can be improved so that performance is consistent across different languages. This is fundamental to ensure that this new technology can be used by non-native English speakers and to preserve linguistic diversity.

研究の動機と目的

• 広範な言語、特に広く使われている言語と低リソース言語を含めた多様な言語における、現在のテキスト対画像生成モデルの性能を評価すること。
• 特にマイノリティ言語や古典的言語である場合に、非英語入力による性能低下の程度を特定すること。
• テキスト対画像生成における複数言語にわたる一貫性を実現するための実用的な技術的道筋を探ること。
• グローバルな言語多様性を支援するため、AI生成画像システムにおける言語的包摂性を提唱すること。

提案手法

• 英語、スペイン語、バスク語、ラテン語の4言語で同一のテキストプロンプトを使用し、公開済みのテキスト対画像生成モデル3つ（DALL-E2、MidJourney、Craiyon）を評価した。
• 初期のプロンプト翻訳にはGoogle翻訳を用い、母語話者およびラテン語専門家による確認と修正を経て、言語的正確性を確保した。
• 鉄道、スキーヤー、台所、象、リビングルームの5つのテーマを対象に、標準化されたプロンプトで画像を生成した。
• 言語やモデルごとの出力品質を視覚的に比較し、意味的整合性と視覚的整合性に注目した。
• 非英語入力を事前に英語に翻訳する言語検出および翻訳モジュールを統合したモジュラーなアプローチを提案した。
• 多言語データセットでの学習と、スケーラビリティおよび保守性を考慮した既存の機械翻訳システムの活用との間のトレードオフを議論した。

実験結果

リサーチクエスチョン

• RQ1 最先端のテキスト対画像生成モデルの性能は、入力プロンプトが非英語の場合にどのように変化するか？
• RQ2 バスク語のような言語孤立語やラテン語のような古典的言語では、性能がどの程度低下するか？
• RQ3 機械翻訳をテキスト対画像パイプラインに効果的に統合することで、多言語の一貫性を向上させられるか？
• RQ4 多言語データセットでの学習と翻訳ベースの事前処理との間で、実用的および計算上のトレードオフは何か？

主な発見

• DALL-E2、MidJourney、Craiyonの3つのテキスト対画像生成モデルは、ラテン語のプロンプトから画像を生成する際、顕著な性能低下を示しており、意図したシーンを捉えることができない出力が多数見られた。
• インド・ヨーロッパ語族に属さない言語孤立語のバスク語についても、すべての生成モデルが低精細度または意味的に不正確な画像を出力しており、非インド・ヨーロッパ語系言語への対応が不十分であることが示された。
• ロマンス語として広く使われるスペイン語は、英語に比べて中程度の性能低下を示したが、物体の配置や詳細に顕著な不整合が見られた。
• 非英語プロンプトでは、画像の視覚的品質と意味的正確性が一貫して低く、特に訓練データが限られた言語で顕著に見られた。
• 本研究では、現在の生成モデルが大規模な多言語テキスト・画像ペairで学習されている証拠が得られず、性能差はモデルアーキテクチャの問題ではなく、データ不足に起因すると示唆された。
• 機械翻訳を事前処理ステップとして統合することは、多言語データセットでの再訓練に代わる、実用的でスケーラブルかつ柔軟な代替手段であると特定された。