[論文レビュー] AlphaGAN: Generative adversarial networks for natural image matting

Sebastian Lutz, Konstantinos Amplianitis+1 more|arXiv (Cornell University)|Jul 26, 2018

Image Enhancement Techniques参考文献 26被引用数 28

ひとこと要約

この論文は、自然画像マットイングのための最初の生成的対抗的ネットワーク（GAN）であるAlphaGANを紹介する。この手法は、拡張畳み込みを用いたエンコーダ・デコーダ型ジェネレータと、現実的な合成画像を識別するように訓練された対抗的ディスクラミネーターを組み合わせることで、アルファ予測を向上させる。本手法はalphamatting.comベンチマークで最先端の性能を達成し、知覚的勾配誤差指標で1位を記録。特に髪の毛のような微細なディテールを正確に予測できるのは、構造のシャープネスを向上させる対抗的損失のおかげである。

ABSTRACT

We present the first generative adversarial network (GAN) for natural image matting. Our novel generator network is trained to predict visually appealing alphas with the addition of the adversarial loss from the discriminator that is trained to classify well-composited images. Further, we improve existing encoder-decoder architectures to better deal with the spatial localization issues inherited in convolutional neural networks (CNN) by using dilated convolutions to capture global context information without downscaling feature maps and losing spatial information. We present state-of-the-art results on the alphamatting online benchmark for the gradient error and give comparable results in others. Our method is particularly well suited for fine structures like hair, which is of great importance in practical matting applications, e.g. in film/TV production.

研究の動機と目的

• 自然画像マットイングの不適切な定式化（前景・背景の色が不明で、合成画像が1枚のみ入手可能）に対処すること。
• 深層学習、特に生成的対抗的ネットワーク（GAN）を活用してアルファマットイングの性能を向上させること。この分野へのGANの適用は、本研究が初めてである。
• 畳み込みニューラルネットワーク（CNN）における空間的局在化とグローバルコンテキストモデリングを強化し、髪の毛のような微細構造の予測を改善すること。
• ディスクラミネーターを訓練して、真値と予測されたアルファ合成画像を区別させることで、視覚的に妥当な合成画像を生成すること。
• 特に知覚的指標と微細なディテール回復において、alphamatting.comベンチマークで最先端の結果を達成すること。

提案手法

• ジェネレータが入力画像からアルファマットを予測し、ディスクラミネーターが真値または予測されたアルファ値を用いて合成された画像が真実かを分類する、GANベースのフレームワークを提案する。
• 標準的な畳み込みを拡張畳み込みに置き換えることで、ジェネレータのアーキテクチャを改善し、ダウンサンプリングを伴わずに空間解像度を維持し、長距離コンテキストを捉える。
• Xuら[33]のエンコーダ・デコーダ構造を応用し、特徴の局在化と表現を向上させるためにアーキテクチャ的改良を施す。
• 視覚的に現実的な合成画像を生成するように促す対抗的損失を導入し、知覚的品質を向上させる。
• 生成器を、アルファ予測に対するL1損失とディスクラミネーターからの対抗的損失の両方を用いて訓練することで、忠実性と現実性のバランスを取る。
• 431個の異なる前景オブジェクトと合成背景を含むalphamatting.comデータセットを、学習および評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのアプローチは、自然画像マットイングにおけるアルファマット予測の視覚的品質と構造的忠実性を向上させることができるか？
• RQ2 ジェネレータに拡張畳み込みを用いることで、空間的ディテールの保持とマットイングにおける局在化が向上するか？
• RQ3 合成画像の現実性を評価するディスクラミネーターを用いた対抗的訓練により、髪の毛のような微細構造においても一般化性能が向上し、よりシャープな予測が得られるか？
• RQ4 ベンチマークデータセットにおける知覚的および定量的指標に関して、本手法は最先端手法と比較してどのように優れているか？
• RQ5 ドールやトロールのような複雑なテクスチャと微細なディテールを有する画像に対しても、モデルは良好に一般化できるか？

主な発見

• AlphaGANは、知覚的指標として設計された勾配誤差指標において、alphamatting.comベンチマークで最高の性能を達成し、スコア0.5で1位を記録した。
• トロールおよびドール画像において、Sum of Absolute Differences（SAD）およびMean Squared Error（MSE）の両方で最先端の結果を達成し、SADスコアはそれぞれ19.2および18.7であった。
• ドール画像において、AlphaGANはすべての手法の中で最小のSAD（19.2）とMSE（18.7）を記録し、微細構造に対する優れた性能を示した。
• トロールおよびドール画像において、本モデルは高周波数の髪の毛構造を的確に捉えており、これは対抗的損失によるシャープネス向上に起因するとされる。
• Composition-1kテストデータセットでも、AlphaGANは最先端の結果を達成し、多様な画像カテゴリにわたる強力な一般化能力を示した。
• Net画像では順位が低かったが、結果はトップパフォーマンス手法と視覚的に近く、困難なケースでも頑健であることが示された。