[論文レビュー] Unpaired High-Resolution and Scalable Style Transfer Using Generative Adversarial Networks

Andrej Junginger, Markus Hanselmann+4 more|arXiv (Cornell University)|Oct 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 2被引用数 6

ひとこと要約

本稿では、高解像度でスケーラブルなペairドなし画像スタイル転送手法を、GANを用いて提案している。本手法は、フル画像ではなく、重複するダウンスケール済みの画像サブサンプル上で学習および推論を行うことで実現されている。このアプローチにより、標準的なGPUを用いて5000万ピクセル以上の高解像度画像に対しても高精細なスタイル転送が可能となり、局所的詳細とグローバルな一貫性を保持しつつ、ピークメモリ消費量と学習データ要件を著しく削減できる。

ABSTRACT

Neural networks have proven their capabilities by outperforming many other approaches on regression or classification tasks on various kinds of data. Other astonishing results have been achieved using neural nets as data generators, especially in settings of generative adversarial networks (GANs). One special application is the field of image domain translations. Here, the goal is to take an image with a certain style (e.g. a photography) and transform it into another one (e.g. a painting). If such a task is performed for unpaired training examples, the corresponding GAN setting is complex, the neural networks are large, and this leads to a high peak memory consumption during, both, training and evaluation phase. This sets a limit to the highest processable image size. We address this issue by the idea of not processing the whole image at once, but to train and evaluate the domain translation on the level of overlapping image subsamples. This new approach not only enables us to translate high-resolution images that otherwise cannot be processed by the neural network at once, but also allows us to work with comparably small neural networks and with limited hardware resources. Additionally, the number of images required for the training process is significantly reduced. We present high-quality results on images with a total resolution of up to over 50 megapixels and emonstrate that our method helps to preserve local image details while it also keeps global consistency.

研究の動機と目的

• 標準的なハードウェア上で高いピークメモリ消費量に起因する制限により、GANを用いたペアードなし画像間変換において高解像度画像（例：5000万ピクセル以上）を処理することが困難であるという課題に対処すること。
• 高解像度画像変換タスクにおける学習および推論時における大規模なニューラルネットワークと高いメモリ使用量というボトルネックを克服すること。
• 1台のデスクトップGPUなどの限られたハードウェアリソースを用いて、超高解像度画像においても高品質なスタイル転送を実現すること。
• 効率的でスケーラブルな学習を実現するため、重複するランダムサブサンプルを活用することで、必要な学習画像数を削減すること。
• モデルが全体像を学習していない場合でも、局所的画像詳細とグローバル構造的一致性が保たれることを保証すること。

提案手法

• 学習および推論の両方において、固定された小さなサイズ（例：256×256ピクセル）の重複するランダムサンプルに高解像度画像を分割する。
• フル画像ではなく、これらの小さなダウンスケールサブサンプル上でGANの生成器およびディスクリミネータを学習することで、ピークメモリ使用量を顕著に削減する。
• 各サブサンプルにおける高品質な翻訳を保証するため、インスタンス正則化と残差ブロックを備えたUnitに類似したGANアーキテクチャを用いる。
• 訓練済みモデルをフル画像の重複するサブサンプルに適用し、接合戦略を用いて結果を統合することで、シームの発生を防ぎ、一貫性を維持する。
• フル画像の一部のみを学習対象としているが、重要なコンテンツが除外されていない限り、未学習領域に対しても一般化が可能であり、目立つアーティファクトが生じない。
• 各サブサンプルに固定サイズの受容 field を用いることで、局所的詳細の忠実性を維持するとともに、重複するコンテキストによってグローバルな一貫性を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模なGPUクラスターや高価なハードウェアを必要とせずに、高解像度画像（例：5000万ピクセル以上）におけるペアードなし画像スタイル転送を効果的に行うことができるか？
• RQ2 重複する小さなサブサンプルに分割して処理することで、ピークメモリ消費量を削減しつつも、高品質な翻訳を維持できるか？
• RQ3 小さなランダムサブサンプル上で学習したGANモデルが、フル高解像度画像に一般化できる程度はどの程度か？特に、目に見えるアーティファクトがないか。
• RQ4 サブサンプルサイズの選定が、局所的画像詳細の保持とグローバル構造的一致性の両者に与える影響はどの程度か？
• RQ5 提案手法により、高解像度ドメインにおいても性能を維持しつつ、必要な学習画像数を顕著に削減できるか？

主な発見

• 本手法は、5000万ピクセルを超える画像（例：15,884×3,271ピクセル）に対してもペアードなしスタイル転送を実行し、標準GPUでフル画像処理では達成できない高品質な結果を得た。
• 1台のNvidia Quadro GPUを用いて、学習および推論を約1日で完了した。これは、一般消費者向けハードウェアでも実現可能であることを示している。
• トレーニング中に学習していない領域に対しても、繊細な局所的詳細（例：テクスチャ、エッジ）を保持しながら、グローバルな画像の一貫性を維持した。
• 小さなサブサンプルは局所的マイクロ構造の保持を向上させたが、大きなサブサンプルはグローバルな一貫性を優遇した。これは、調整可能なトレードオフであることを示している。
• 本手法は、多様なドメインにわたり良好に一般化し、非常に異なるスタイル（例：写真から絵画）に対しても、目に見えるアーティファクトや誤った翻訳が生じない。
• 各サブサンプルが独立した学習例として機能するため、データの効率性が向上し、必要な学習データ量を顕著に削減できた。