[論文レビュー] Cascade Attention Guided Residue Learning GAN for Cross-Modal Translation

Bin Duan, Wei Wang+3 more|arXiv (Cornell University)|Jul 3, 2019

Music and Audio Processing参考文献 39被引用数 7

ひとこと要約

本稿では、クロスモーダル音声から画像への翻訳のための、2段階のキャスケードアテンションガイド付き GAN である CAR-GAN を提案する。ランダムノイズの代わりに、クラス予測から導出された意味的リジッドラベルを用いることで、モデルは画像生成を段階的に精錬し、ベースライン比で 45.44% の FID 向上を達成し、Sub-URMP データセットで最先端の性能を実現した。

ABSTRACT

Since we were babies, we intuitively develop the ability to correlate the input from different cognitive sensors such as vision, audio, and text. However, in machine learning, this cross-modal learning is a nontrivial task because different modalities have no homogeneous properties. Previous works discover that there should be bridges among different modalities. From neurology and psychology perspective, humans have the capacity to link one modality with another one, e.g., associating a picture of a bird with the only hearing of its singing and vice versa. Is it possible for machine learning algorithms to recover the scene given the audio signal? In this paper, we propose a novel Cascade Attention-Guided Residue GAN (CAR-GAN), aiming at reconstructing the scenes given the corresponding audio signals. Particularly, we present a residue module to mitigate the gap between different modalities progressively. Moreover, a cascade attention guided network with a novel classification loss function is designed to tackle the cross-modal learning task. Our model keeps the consistency in high-level semantic label domain and is able to balance two different modalities. The experimental results demonstrate that our model achieves the state-of-the-art cross-modal audio-visual generation on the challenging Sub-URMP dataset. Code will be available at https://github.com/tuffr5/CAR-GAN.

研究の動機と目的

• クロスモーダル生成における音声モダリティと画像モダリティの間の大きな意味的・表現的ギャップに対処すること。
• ランダムな潜在ベクトルへの依存を排除し、段階的精錬を可能にする意味的リジッドモジュールを導入すること。
• 共同分類損失を用いて、音声と生成画像モダリティ間の高レベルの意味的整合性を維持すること。
• 自己アテンション機構を統合した2段階のジェネレータアーキテクチャを通じて、画像のリアルリズムと詳細を向上させること。
• 挑戦的な Sub-URMP データセットにおいて、音声から画像への翻訳で最先端の性能を達成すること。

提案手法

• 2段階のジェネレータアーキテクチャ：最初のジェネレータ（G₁）は、音声の Log-Mel スペクトログラム（LMS）とクラスラベルから粗い画像を生成する。2番目のジェネレータ（G₂）は、リジッドモジュールを用いてそれを精錬する。
• リジッドモジュールは、粗い画像の予測クラスと真値の音声クラスとの間の意味的差異を計算し、リジッドラベル Lᵣ を生成する。
• 両方のジェネレータおよびディスクラミネータに自己アテンション機構を統合し、特徴量の長距離空間的依存性をモデル化する。
• 高レベルのラベル空間における意味的整合性を強制するために、両ステージに新しいキャスケード分類損失（ℒc）を適用する。
• 敵対的損失、L1 再構成損失、および提案された分類損失を用いて、エンドツーエンドでモデルを訓練する。
• リジッドモジュールにより、1段階目の出力における欠落または誤った意味的特徴に焦点を当てた段階的精錬が可能になる。

実験結果

リサーチクエスチョン

• RQ1 意味的リジッド学習を組み込んだ2段階 GAN は、単一段階モデルを上回る音声から画像への翻訳を実現できるか？
• RQ2 ランダムな潜在ベクトルを学習された意味的リジッドラベルに置き換えると、生成品質にどのような影響を与えるか？
• RQ3 キャスケードアテンション機構は、クロスモーダル翻訳における特徴表現と画像の詳細をどの程度向上させるか？
• RQ4 共同分類損失は、クロスモーダル GAN における意味的整合性の向上とモード崩壊の低減に寄与するか？
• RQ5 提案手法は、Sub-URMP ベンチマークにおいて最先端の手法と比較してどのように評価されるか？

主な発見

• 提案された CAR-GAN は、リジッドモジュールを備えないベースラインモデルと比較して、FID スコアで 45.44% の向上を達成した。
• モデルは、ベースライン比で Inception Score（IS）を 84.45% 向上させ、生成画像の品質と多様性が向上したことを示した。
• 分類損失（ℒc）を削除すると、FID 性能が 37.56% 低下し、意味的ガイドラインとしての役割が確認された。
• 2段階生成戦略は、単一ジェネレータ構成と比較して、FID を 32.53% 向上させ、IS を 2.59% 向上させた。
• アブレーションスタディにより、アテンション機構が特徴表現を向上させ、生成画像の欠落した詳細を低減することが確認された。
• L1 正則化子は訓練を安定化させ、さまざまな L1 重み設定においても性能が安定しており、過学習の兆候がないことが示された。