[論文レビュー] MixerGAN: An MLP-Based Architecture for Unpaired Image-to-Image Translation

George Cazenavette, Manuel Ladrón de Guevara|arXiv (Cornell University)|May 28, 2021

Multimodal Machine Learning Applications参考文献 32被引用数 10

ひとこと要約

MixerGANは、自己注意機構の代わりにメモリ効率の良いMLP-Mixerアーキテクチャを用いることで、長距離のピクセル依存関係を捉えるMLPベースの生成モデルを提案する。これは、CycleGANのような畳み込みニューラルネットワークベースのGANと比較して、競争力ある性能を発揮しながら、計算コストを顕著に低減する。

ABSTRACT

While attention-based transformer networks achieve unparalleled success in nearly all language tasks, the large number of tokens (pixels) found in images coupled with the quadratic activation memory usage makes them prohibitive for problems in computer vision. As such, while language-to-language translation has been revolutionized by the transformer model, convolutional networks remain the de facto solution for image-to-image translation. The recently proposed MLP-Mixer architecture alleviates some of the computational issues associated with attention-based networks while still retaining the long-range connections that make transformer models desirable. Leveraging this memory-efficient alternative to self-attention, we propose a new exploratory model in unpaired image-to-image translation called MixerGAN: a simpler MLP-based architecture that considers long-distance relationships between pixels without the need for expensive attention mechanisms. Quantitative and qualitative analysis shows that MixerGAN achieves competitive results when compared to prior convolutional-based methods.

研究の動機と目的

• MLP-Mixer、つまり畳み込みも自己注意も持たないアーキテクチャが、生成的画像間翻訳タスクに適用可能かどうかを検討すること。
• 視覚タスクにおける自己注意機構の高いメモリコストを軽減するため、MLP-Mixerの効率的な長距離モデリング特性を活用すること。
• 従来の畳み込みGANと比較して、より単純でパラメータ効率の高い非ペア画像翻訳の新しいベースラインを確立すること。
• 自己注意や畳み込みのインダクティブバイアスなしに、MLPベースのモデルが画像内の長距離依存関係を効果的にモデル化できるかどうかを評価すること。

提案手法

• 入力画像のパッチを線形パッチ投影により可学習ベクトルに変換することで、空間的解像度を低下させつつ特徴表現を保持する。
• パッチ間の長距離依存関係をモデル化するために、チャネル単位およびトークン単位のMLPをスタックした「ミキサー・ブロック」をコアとして用いる。
• CycleGANと同様の生成器・識別器の敵対的訓練スキームを採用し、可逆写像を強制するためのサイクル整合性損失を適用する。
• 潜在ベクトルを再投影してパッチに戻し、デコンボリューションまたは転置演算を用いて元の画像を再構築する。
• ミキサー・ブロック内で重み共有のMLPを用いることでパラメータ数を削減し、学習安定性を向上させる。
• ペアデータを必要とせず、敵対的損失とサイクル整合性損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 自己注意や畳み込みのインダクティブバイアスなしに、MLP-Mixerアーキテクチャが非ペア画像間翻訳を効果的に行えるか？
• RQ2 MLPベースの生成器は、CycleGANのような最先端の畳み込みGANと比較して、画像の質や多様性の面でどのように性能を発揮するか？
• RQ3 MLP-Mixerの画像生成における主な失敗モードは何か。特にパッチ投影による情報損失に関連するものか？
• RQ4 MLP-Mixerのメモリ効率が、トランスフォーマーと比較して顕著に低い計算コストで競争力ある結果を得るのに寄与するか？

主な発見

• MixerGANは、Horse2ZebraおよびApple2Orangeデータセットで競争力ある定性的な結果を達成し、ペアデータなしで現実的で多様な翻訳を生成した。
• Yosemiteデータセットでは、CycleGANよりも彩度が高く、雪がより白く、季節的にも正確な結果（例：より鮮やかな色）を生成した。
• 特にコントラストが高く、テクスチャが豊富な領域（例：シマウマの縞模様）ではパッチアーチファクトが顕著に現れ、パッチ投影による情報損失に起因する制限が示された。
• 入力解像度を128×128に低下させることでHorse2Zebraの翻訳品質が向上したため、パッチレベルでの解像度とチャネル容量が性能に大きく寄与することが示された。
• 主な失敗モードは、同一のパッチアーチファクトの繰り返しであり、著者らはこれをパッチ投影時の高圧縮と限られた潜在チャネル容量に起因すると特定している。
• パッチ投影後の潜在チャネル数を増やすことで情報損失とアーチファクトが軽減されると仮説されるが、計算制約のため完全な検証は行われなかった。