[論文レビュー] Emojich -- zero-shot emoji generation using Russian language: a technical report

Alex Shonenkov, Daria Bakshandaeva+2 more|arXiv (Cornell University)|Dec 4, 2021

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本稿では、ruDALL-E Malevich (XL) から微調整されたゼロショットテキスト対画像モデルであるEmojichを提示する。このモデルは、テキスト的説明からスタイライズドされたロシア語表記の絵文字を生成することを目的としている。8ビットAdam最適化法とコードブックベクトルにおける重み付き交差エントロピー損失を用い、40エポックの微調整の結果、高品質な絵文字スタイリングが達成された。生成結果は、カスタムステッカー生成用に公開されたTelegramボットから利用可能である。

ABSTRACT

This technical report presents a text-to-image neural network "Emojich" that generates emojis using captions in Russian language as a condition. We aim to keep the generalization ability of a pretrained big model ruDALL-E Malevich (XL) 1.3B parameters at the fine-tuning stage, while giving special style to the images generated. Here are presented some engineering methods, code realization, all hyper-parameters for reproducing results and a Telegram bot where everyone can create their own customized sets of stickers. Also, some newly generated emojis obtained by "Emojich" model are demonstrated.

研究の動機と目的

• Unicodeへの新しい絵文字提案を必要とせずに、ロシア語のキャプションからスタイライズドされた絵文字を生成するゼロショットテキスト対画像モデルの開発。
• 事前学習済みのruDALL-E Malevich (XL) モデルの世界知識を保持しつつ、出力のスタイルを絵文字の美学に適合させる。
• 微調整された生成と自動セグメンテーションを用いて、公開されたTelegramボットを通じてユーザーがパーソナライズされた絵文字ステッカーを生成できるようにすること。
• 限定的で曖昧なキャプション変種に対して過学習を回避するため、画像コードブックベクトルにおける高重量交差エントロピー損失を用いる。
• 透明背景を備えたRGBAフォーマットへの変換を可能にする、堅牢でスケーラブルなパイプラインを構築すること。このパイプラインでは、U-Netと輪郭ベースのセグメンテーションを用いる。

提案手法

• 自己注意およびフィードフォワード層を凍結することで、深刻な忘却を防ぐために1.3BパラメータのruDALL-E Malevich (XL) モデルを微調整した。
• 画像コードブックベクトルに係数10³の重み付き交差エントロピー損失を適用し、スタイル適合を強調しつつ、意味的コンテンツを保持した。
• 8ビットAdam最適化法を用い、fp16精度と1サイクル学習率スケジューラー（初期値4e-7、ピーク1e-5、最終値2e-8）を40エポックにわたり適用し、バッチサイズ2で実行した。
• VQ-VAEデコーダーにおける潜在ベクトルの自己回帰的デコードに、nucleusサンプリング（top-p = 0.995）とtop-k = 2048、温度 = 1.0を適用した。
• MobileStyleGANから適応した逆離散ウェーブレット変換（IDWT）モジュールを用いて、256×256から512×512への画像解像度向上を実現した。
• Pseudo-labelingと手動補正を用いて、246,089枚の画像に拡張されたトレーニングセットを用い、EfficientNetB7エンコーダーを搭載したU-Netを、生成された絵文字のバイナリセマンティックセグメンテーションにトレーニングした。

実験結果

リサーチクエスチョン

• RQ1 ruDALL-E Malevich (XL) のような大規模マルチモーダル事前学習モデルは、深刻な忘却を引き起こさずに、Unicodeへの新しい絵文字提案を必要とせずに、文化的に適切なスタイライズドロシア語絵文字を効果的に生成できるか？
• RQ2 限定的で曖昧なキャプションデータに直面した場合でも、モデルは、絵文字の特徴的なビジュアルスタイルに適応しつつ、高品質な画像生成を維持できるか？
• RQ3 ロシア語絵文字のような低リソースで高ステイリング特徴を持つデータセットに対して、大規模ビジョン・ランゲージモデルを微調整するにあたり、最も効果的なトレーニングおよび最適化戦略は何か？
• RQ4 生成された絵文字画像に対して、自動的かつ信頼性の高い背景除去を実現するにはどうすればよいか？
• RQ5 モデルは、分布外の新規プロンプトに対してどれほど一般化できるか？同時に、アイデンティティと絵文字の美学を保持できるか？

主な発見

• 2,749枚のロシア語キャプション付き絵文字画像を用いた40エポックの微調整の結果、モデルは写真的描写からスタイライズドされた絵文字風出力へと効果的に移行した。
• 約12,000イテレーション目で、モデルは認識可能な絵文字風画像の生成を開始し、56,000イテレーション目には一貫したスタイリングが観察された。
• 68,000イテレーション目には、モデルが意味的整合性を失い、一様で無個性な画像（例：「アインシュタイン」がひげをはやした未知の人物に変換される）を生成し始め、過学習またはモード崩壊の兆候が見られた。
• U-Netベースのセグメンテーションパイプラインは高い信頼性を示し、信頼度閾値（≥0.99）を用いることで、99％の生成画像を自動処理可能となった。残りのケースは、手動による輪郭ベースの手法で対応した。
• 最終モデルは、seed=42、1プロンプトあたり16サンプルを用いた場合、直接ステッカーとして使用可能な高品質な絵文字画像を生成した。512サンプルのサンプリングと手動選択を追加することで、さらなる品質向上が可能である。
• 公開されたTelegramボットは正常にデプロイされ、ユーザーが微調整済みのEmojichモデルとセグメンテーションパイプラインを用いて、カスタムステッカーのセットを生成・エクスポートできるようになった。