[論文レビュー] InstaFormer: Instance-Aware Image-to-Image Translation with Transformer

Soo-Hyun Kim, Jongbeom Baek+3 more|arXiv (Cornell University)|Mar 30, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

InstaFormerは、自己注意機構を用いてグローバル特徴とインスタンスレベル特徴を統合するTransformerベースのアーキテクチャを提案し、オブジェクトレベルの翻訳忠実度を向上させることを目的としている。インスタンスレベルのコンテンツ対照損失とアダプティブインスタンス正規化（AdaIN）を統合することで、コンテンツ豊富なシーン翻訳およびドメイン適応型オブジェクト検出において最先端の性能を達成している。

ABSTRACT

We present a novel Transformer-based network architecture for instance-aware image-to-image translation, dubbed InstaFormer, to effectively integrate global- and instance-level information. By considering extracted content features from an image as tokens, our networks discover global consensus of content features by considering context information through a self-attention module in Transformers. By augmenting such tokens with an instance-level feature extracted from the content feature with respect to bounding box information, our framework is capable of learning an interaction between object instances and the global image, thus boosting the instance-awareness. We replace layer normalization (LayerNorm) in standard Transformers with adaptive instance normalization (AdaIN) to enable a multi-modal translation with style codes. In addition, to improve the instance-awareness and translation quality at object regions, we present an instance-level content contrastive loss defined between input and translated image. We conduct experiments to demonstrate the effectiveness of our InstaFormer over the latest methods and provide extensive ablation studies.

研究の動機と目的

• 複数のオブジェクトインスタンスを含むコンテンツ豊富なシーンを扱う際、従来の画像間翻訳手法が示す限界に対処すること。
• オブジェクトインスタンス同士の相互作用とグローバル画像コンテキストの関係をモデル化することで、翻訳におけるインスタンスに特化した認識を向上させること。
• 新しいインスタンスレベルのコンテンツ対照損失を導入し、オブジェクト領域における翻訳品質を向上させること。
• TransformerエンコーダーにおいてLayerNormをAdaINに置き換えることで、スタイルコードを用いたマルチモーダル翻訳を可能とすること。
• ドメイン適応型オブジェクト検出を含む下流タスクにおいて、優れた性能を示すことを実証すること。

提案手法

• 画像から抽出したコンテンツ特徴をTransformerエンコーダー内のトークンとして扱い、自己注意機構を用いてグローバルコンテキストをモデル化する。
• ボクセルボックス情報を利用してコンテンツ特徴から得られるインスタンスレベル特徴をグローバルトークンに追加し、インスタンスに特化した表現を強化する。
• 位置埋め込みを統合することで、グローバルおよびインスタンスレベルのパッチを同時にモデル化し、空間認識能力を向上させる。
• マルチモーダル翻訳を可能とするために、標準的なLayerNormをアダプティブインスタンス正規化（AdaIN）に置き換える。
• 計算コストを低減するため、Transformerの入出力に畳み込みパッチ埋め込みおよび逆畳み込みモジュールを適用する。
• 入力画像と翻訳済み画像の間でインスタンスレベルのコンテンツ対照損失を導入し、オブジェクト領域における特徴の整合性を向上させる。

Figure 1 : Results of InstaFormer for instance-aware image-to-image translation. Our InstaFormer effectively considers global- and instance-level information with Transformers, which enables high quality instance-level translation.

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、インスタンスに特化した画像間翻訳において、グローバル特徴とインスタンスレベル特徴を効果的に統合できるか？
• RQ2 提案されたインスタンスレベル対照損失は、標準的な対照損失と比較して、オブジェクトレベルの翻訳忠実度をどの程度向上させるか？
• RQ3 サイクル整合性が存在しない状況下で、LayerNormをAdaINに置き換えることで、マルチモーダル翻訳能力がどの程度向上するか？
• RQ4 InstaFormerは、ドメイン適応型オブジェクト検出を含む下流タスクにおいて、従来の最先端手法と比較してどの程度の性能を示すか？
• RQ5 各コンポonent（例：Transformerエンコーダー、対照損失、AdaIN）が全体の翻訳品質およびインスタンスに特化した認識にどの程度寄与しているか？

主な発見

• InstaFormerは、インスタンスに特化した画像間翻訳ベンチマークで最先端の性能を達成し、CUT、DUNIT、MGUITを上回っている。
• アブレーションスタディの結果、インスタンスレベル対照損失がオブジェクトレベルの明瞭性を著しく向上させ、特に複雑なシーンにおいてぼやけを低減することが確認された。
• TransformerエンコーダーをMLP-Mixerに置き換えても同等の性能を達成しており、バックボーンの選択に対して本フレームワークのロバスト性が示された。
• KITTI→Cityscapesドメイン適応検出ベンチマークにおいて、mAPが55.5を達成し、DUNIT（54.1）およびMGUIT（54.6）を上回った。
• 人間評価では、InstaFormerが全体的な画像品質、意味的整合性、スタイル整合性の面でベースラインを上回っていることが確認された。
• AdaINを削除すると単一モードの出力となり、スタイルの保存性が劣化することが示され、マルチモーダル翻訳におけるAdaINの重要性が裏付けられた。

(a) Architecture