[論文レビュー] Unsupervised Attention-guided Image to Image Translation

Youssef Alami Mejjati, Christian Richardt+3 more|arXiv (Cornell University)|Jun 6, 2018

Multimodal Machine Learning Applications被引用数 201

ひとこと要約

本論文は CycleGAN に類似した画像変換へ教師なしの注意機構を統合し、前景オブジェクトへ翻訳を焦点化するとともに背景を維持し、監視なしで実現性を高める手法を提案する。

ABSTRACT

Current unsupervised image-to-image translation techniques struggle to focus their attention on individual objects without altering the background or the way multiple objects interact within a scene. Motivated by the important role of attention in human perception, we tackle this limitation by introducing unsupervised attention mechanisms that are jointly adversarialy trained with the generators and discriminators. We demonstrate qualitatively and quantitatively that our approach is able to attend to relevant regions in the image without requiring supervision, and that by doing so it achieves more realistic mappings compared to recent approaches.

研究の動機と目的

• 関連するシーン領域に焦点を当てることで、教師なしの画像間翻訳の改善を動機づける。
• 生成器を前景オブジェクトの翻訳に限定するよう導く学習可能な注意ネットワークを導入する。
• 識別可能な領域のみを変えるため、注意ネットワークを生成器および識別器と共同で訓練する。
• 背景の内容を維持し、背景の不自然な変更を避ける。
• 既存手法と比較して、定性的および定量的な改善を示す。

提案手法

• CycleGANフレームワークに注意ネットワーク A_S および A_T を追加する。
• 注意マップを計算し、それをマスクとして適用して前景翻訳領域と保存された背景を結合する（s' = s_a ⊙ F(s) + (1 - s_a) ⊙ s）。
• 対戦的損失とサイクル整合性損失を用いて訓練し、注意領域の翻訳を強制する学習目的とする。
• マスクされた領域上で動作する識別器を採用して背景のペインティングを防ぎ、訓練を安定化させる（段階的な訓練スケジュールとともに）。
• 訓練中は連続的な注意マスクを用い、識別器には閾値処理されたマスクを用いてモード崩壊を避ける。
• 生成器・注意・識別器の更新を交互に行うアルゴリズム的訓練手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 監督なしで、教師なし注意機構は意味のある領域に翻訳を焦点付けることを学習できるか？
• RQ2 注意に基づく翻訳は、既存の教師なしI2I手法と比較して画像の現実感を向上させ、背景を維持できるか？
• RQ3 訓練スケジュールと識別器マスキングが、安定した注意と高品質な翻訳の学習に及ぼす影響は？
• RQ4 多尺度の物体と多様な背景を含むデータセットで本手法はどのように性能を発揮するか？

主な発見

• 本手法はマッピング間で最も低いKernel Inception Distance (KID) を達成し、実画像により近い視覚的類似性を示す。
• 定性的な結果は、注意マップが領域を説明するオブジェクトに焦点を合わせ、背景の変更を避けることを示す。
• アブレーションは、鋭く局所的な注意のためにサイクル整合性とデュアル注意（A_S と A_T）の重要性を示す。
• 注意誘導識別器と段階的訓練の使用は、モード崩壊と背景アーティファクトを低減する。
• ベースライン（CycleGAN、DiscoGAN、DualGAN、UNIT、RA）と比べて、提案手法は特に多尺度の物体を伴う場合に、より現実的な翻訳を生み出す。