[論文レビュー] Powers of layers for image-to-image translation

Hugo Touvron, Matthijs Douze+2 more|arXiv (Cornell University)|Aug 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 5

ひとこと要約

本稿では、一貫した自己符号化器の潜在空間内で1つの学習可能な残差ブロックを繰り返し適用する、軽量でパラメータ効率の良いアーキテクチャ「Powers of Layers (PoL)」を提案する。この手法は、顕著に少ないパラメータでCycleGANと同等または優れた性能を達成し、変換強度の制御可能で、タスク間の合成が可能な特徴を持つ。

ABSTRACT

We propose a simple architecture to address unpaired image-to-image translation tasks: style or class transfer, denoising, deblurring, deblocking, etc. We start from an image autoencoder architecture with fixed weights. For each task we learn a residual block operating in the latent space, which is iteratively called until the target domain is reached. A specific training schedule is required to alleviate the exponentiation effect of the iterations. At test time, it offers several advantages: the number of weight parameters is limited and the compositional design allows one to modulate the strength of the transformation with the number of iterations. This is useful, for instance, when the type or amount of noise to suppress is not known in advance. Experimentally, we provide proofs of concepts showing the interest of our method for many transformations. The performance of our model is comparable or better than CycleGAN with significantly fewer parameters.

研究の動機と目的

• 対応データが存在しない画像間変換タスク（例：スタイル転送、ノイズ除去、ぼかし除去）を、教師データなしで処理すること。
• モデルサイズを最小限に抑えつつ高い性能を維持する、パラメータ効率の良いアーキテクチャの開発。
• 推論時に1つの残差ブロックの反復回数を変更することで、変換強度を動的に制御すること。
• 共有潜在空間に複数のタスク固有の残差ブロックを積み重ねることで、変換の合成を可能にすること。
• 反復的合成による劣化（累乗効果）を回避するための最適化を安定化させる学習スキームの構築。

提案手法

• 入力画像の潜在表現を抽出するために、事前学習済みで重みが固定された自己符号化器を使用する。
• 潜在空間で1つの残差ブロックを学習させ、ドメインAからドメインBへの変換を学習する。
• 推論時に、変換強度を調整可能な反復回数を変更しながら、残差ブロックを繰り返し適用する。
• 反復的変換の最適化を安定化させるために、段階的な学習スケジュールを実装する。
• 学習中に識別器を用いて変換をガイドするが、敵対的フィードバックに基づき自動的に反復回数を停止可能にする。
• 共有潜在空間にタスク固有の残差ブロックを固定・積み重ねることで、変換の合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定された自己符号化器の潜在空間に、再利用可能な1つの残差ブロックを適用することで、非ペaired画像間変換で競争力のある性能を達成できるか？
• RQ2 1つの残差ブロックを繰り返し適用することで、再訓練なしに変換強度を制御可能か？
• RQ3 同じ潜在空間が、複数の画像操作（例：ノイズ除去 → スタイル転送）の合成変換をサポートできるか？
• RQ4 FIDスコア、視覚的品質、パラメータ効率の観点から、提案手法はCycleGANと比較してどの程度の性能を示すか？
• RQ5 アーキテクチャの変更なしに、高解像度画像や複雑なタスク（ぼかし除去、ブロッキングノイズ除去）にも一般化可能か？

主な発見

• Summer→WinterタスクではPoLが平均FID 46.1を達成し、CycleGANの48.8を上回り、Horse→Zebraタスクでは53.0（CycleGAN: 89.7）と、優れたもしくは同等の性能を示した。
• Monet→Photo変換タスクでは、PoLがFID 70.3を達成した一方でCycleGANは60.3であったが、パラメータ数が少ないにもかかわらず強力な結果を示した。
• 特に高解像度設定において、視覚的品質を維持または向上させながら、CycleGANと比較して顕著にモデルパラメータ数を削減した。
• 高解像度での学習により、低解像度モデルでは再現できなかったゼブラの縞模様などの細部まで正確なスケールで生成可能となった。
• 潜在空間での変換の合成（例：ノイズ除去 → スタイル転送）は、中間の復号と再符号化を行う場合よりも優れた結果をもたらした。
• 推論時に識別器を用いることで、最適な反復回数を動的に決定し、適応的な変換強度を実現できるようになった。