[論文レビュー] Instance Normalization: The Missing Ingredient for Fast Stylization

Dmitry Ulyanov, Andrea Vedaldi+1 more|arXiv (Cornell University)|Jul 27, 2016

Handwritten Text Recognition Techniques参考文献 3被引用数 3,103

ひとこと要約

本論文は、高速スタイライズ生成器においてバッチ正規化をインスタンス正規化に置換し、テスト時にも適用することで、リアルタイムのスタイライズにおける画像品質を大幅に向上させることを示している。

ABSTRACT

It this paper we revisit the fast stylization method introduced in Ulyanov et. al. (2016). We show how a small change in the stylization architecture results in a significant qualitative improvement in the generated images. The change is limited to swapping batch normalization with instance normalization, and to apply the latter both at training and testing times. The resulting method can be used to train high-performance architectures for real-time image generation. The code will is made available on github at https://github.com/DmitryUlyanov/texture_nets. Full paper can be found at arXiv:1701.02096.

研究の動機と目的

• ジェネレータアーキテクチャの品質向上によってリアルタイムのスタイル転送を動機づける。
• アーキテクチャ内に対照正規化を効率的に実装できるかを調査する。
• インスタンス正規化がバッチ正規化より優れたスタイライズ結果をもたらすことを示す。

提案手法

• スタイライズ生成ネットワークにおけるバッチ正規化層をインスタンス正規化層に置換する。
• 訓練時とテスト時の両方でインスタンス正規化を適用する（凍結や削除は行わない）。
• 以前の高速スタイライズ手法と同じジェネレータアーキテクチャを使用し、インスタンス正規化で再訓練する。
• インスタンス正規化はインスタンス固有のコントラスト情報を除去して生成を単純化するという直感を提供する。
• 変更の一般性を評価するために、2つのジェネレータアーキテクチャ間で性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス正規化はバッチ正規化と比較して高速スタイライズの品質を向上させるか？
• RQ2 テスト時にインスタンス正規化を適用することは、より高品質なスタイライズを達成するために重要か？
• RQ3 このタスクにおいて、異なるジェネレータアーキテクチャの両方がインスタンス正規化から利益を得るか？

主な発見

• バッチ正規化をインスタンス正規化に置換することは、テストされたアーキテクチャ全体でスタイライズ品質を大幅に向上させる。
• Ulyanov ら（2016）と Johnson ら（2016）の生成ネットワークは、インスタンス正規化から同様の恩恵を受ける。
• 訓練時およびテスト時にインスタンス正規化を使用する方が、バッチ正規化の挙動を維持するより良い結果を得る。
• より効率的な残差アーキテクチャ（Johnson ら, 2016）は、インスタンス正規化への切替後も有利なままである。