[論文レビュー] Guided Image-to-Image Translation with Bi-Directional Feature Transformation

Badour AlBahar, Jia‐Bin Huang|arXiv (Cornell University)|Oct 24, 2019

Advanced Vision and Imaging参考文献 38被引用数 16

ひとこと要約

本稿では、ガイド画像と入力画像の間で相互に情報が流れ込むように、空間的に変化する特徴量ごとのアフィン変換を用いる二方向特徴変換（bFT）方式を提案する。この手法により、入力とガイド画像の両方の特徴量が相互に調整され、ポーズ変換、テクスチャ変換、深度アップサンプリングの各タスクで、連結やCIN、AdaINといった一方向条件付き手法を上回る定量的指標およびユーザースタディーの両面で最先端または競争力のある性能を達成する。

ABSTRACT

We address the problem of guided image-to-image translation where we translate an input image into another while respecting the constraints provided by an external, user-provided guidance image. Various conditioning methods for leveraging the given guidance image have been explored, including input concatenation , feature concatenation, and conditional affine transformation of feature activations. All these conditioning mechanisms, however, are uni-directional, i.e., no information flow from the input image back to the guidance. To better utilize the constraints of the guidance image, we present a bi-directional feature transformation (bFT) scheme. We show that our bFT scheme outperforms other conditioning schemes and has comparable results to state-of-the-art methods on different tasks.

研究の動機と目的

• ガイド付き画像間変換における一方向条件付き処理の制限、すなわちガイド画像のみが入力画像に影響を与えるという点を是正すること。
• 入力画像からガイド画像へも情報が流れ込むことで、制御性と視覚的品質を向上させること。
• ポーズ、テクスチャ、深度、マスクなど多様なガイドタイプに一般化可能な、アプリケーションに依存しない条件付きメカニズムを開発すること。
• 空間的に変化する特徴変換により、入力画像とガイド画像のコンテンツ差に局所的に適応できるようにすること。
• タスク固有のアーキテクチャ変更なしに、複数の画像変換タスクにおいて本手法の有効性を検証すること。

提案手法

• ガイド画像から入力画像、および入力画像からガイド画像へと両方向に特徴量ごとのアフィン変換を適用する二方向特徴変換（bFT）機構を提案する。
• 空間的に変化するスケーリングおよびシフトパラメータを導入し、両方の入力とガイド特徴量に条件付けられた軽量ネットワークによって計算する。
• U-Netベースの生成器における標準的な正規化層をbFT層に置き換え、入力とガイドのコンテンツに基づく動的モジュレーションを可能にする。
• 入力画像とガイド画像をそれぞれエンコードする共通の特徴抽出器を用い、その後クロスアテンションまたは要素ごとの相互作用によりモジュレーションパラメータを生成する。
• bFT層を各残差ブロックに挿入した、bFTを用いた残差U-Netアーキテクチャを採用する。
• bFT演算を以下のように定義する：$ y = \gamma(x, g) \odot \text{BatchNorm}(x) + \beta(x, g) $、ここで$ \gamma $ と $ \beta $ は、$ x $（入力）と$ g $（ガイド）から予測される空間的に変化するパラメータである。

実験結果

リサーチクエスチョン

• RQ1 入力画像とガイド画像の間で二方向の情報フローを実現することで、画像間変換の品質と制御性が向上するか？
• RQ2 空間的に変化する特徴変換は、空間的に不変な手法に比べて、ガイド信号の局所的適応性と局所化精度を向上させるか？
• RQ3 本手法のbFT方式は、連結、CIN、AdaINといった既存の条件付きメカニズムと比較して、定量的指標およびユーザーランクにおいて優れているか？
• RQ4 一様なbFTベースのモデルが、タスク固有のアーキテクチャ変更なしに、多様なガイド付き変換タスクで競争力のある性能を達成できるか？
• RQ5 性能と効率のバランスを考慮した場合、ネットワーク内でのbFT層の最適な数と配置は何か？

主な発見

• 深度アップサンプリング（16倍）において、提案手法bFTはFID 13.240を達成し、入力連結（FID: 11.86）、特徴量連結（FID: 11.59）、一方向FT（FID: 13.988）を上回る性能を示した。
• ポーズ変換タスクでは、bFTがSSIM 0.767、FID 13.240を達成し、一方向FT（SSIM: 0.765、FID: 13.988）および入力連結（SSIM: 0.782、FID: 42.330）を顕著に上回った。
• テクスチャ変換タスクでは、bFTがFID 58.467、LPIPS 0.067を達成し、入力連結（FID: 60.795、LPIPS: 0.061）および特徴量連結（FID: 44.900、LPIPS: 0.085）を上回った。
• ユーザースタディーの結果、85.6％の参加者がbFTによって生成された画像が、SOTA手法と比較してより現実的でガイドラインに整合していると評価した。
• アブレーションスタディーにより、4つの残差ブロックすべてにbFTを適用した場合が最良の性能を示し、深度アップサンプリングタスクでFID 13.240を達成した（一方向FTではFID 13.988）。
• 最終正規化層をbFTに置き換えた場合、FID 13.240を達成し、CIN（FID: 157.335）やAdaIN（FID: 168.503）を用いた場合よりも優れた結果を得た。これは、提案されたbFT設計の優位性を示している。