[論文レビュー] Checkerboard artifact free sub-pixel convolution: A note on sub-pixel convolution, resize convolution and convolution resize

Andrew P. Aitken, Christian Ledig+4 more|arXiv (Cornell University)|Jul 10, 2017

Image Processing Techniques and Applications参考文献 16被引用数 141

ひとこと要約

このノートは、初期化直後にチェッカーボードアーティファクトのないサブピクセル畳み込みの畳み込みNNリサイズ初期化を提案し、同じ計算コストでリサイズ畳み込みよりもモデリング力を高める。

ABSTRACT

The most prominent problem associated with the deconvolution layer is the presence of checkerboard artifacts in output images and dense labels. To combat this problem, smoothness constraints, post processing and different architecture designs have been proposed. Odena et al. highlight three sources of checkerboard artifacts: deconvolution overlap, random initialization and loss functions. In this note, we proposed an initialization method for sub-pixel convolution known as convolution NN resize. Compared to sub-pixel convolution initialized with schemes designed for standard convolution kernels, it is free from checkerboard artifacts immediately after initialization. Compared to resize convolution, at the same computational complexity, it has more modelling power and converges to solutions with smaller test errors.

研究の動機と目的

• デコンボリューションベースのアップサンプリングにおけるチェッカーボードアーティファクトの問題を動機づける。
• サブピクセル畳み込みのための畳み込みNNリサイズと呼ばれる初期化法を導入する。
• 提案手法を標準的なサブピクセル畳み込みの初期化法およびリサイズ畳み込みと、アーティファクトとモデリング力の点で比較する。

提案手法

• 畳み込みNNリサイズをサブピクセル畳み込みの初期化として定義する。
• この初期化が初期化直後にチェッカーボードアーティファクトを排除することを主張する。
• リサイズ畳み込みと比較して計算複雑さとモデリング力を比較する。
• 代替スキームと比較した収束挙動とテストエラーを評価する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みNNリサイズ初期化は追加の後処理なしでチェッカーボードアーティファクトを除去できるか？
• RQ2 等しい計算コストで標準的なサブピクセル畳み込み初期化と比較した場合、テストエラーはどうなるか？
• RQ3 提案手法とリサイズ畳み込みのモデリング力とアーティファクトのトレードオフは何か？

主な発見

• 畳み込みNNリサイズ初期化は初期化直後にアーティファクトのない出力を生み出す。
• 同じ計算量で、畳み込みNNリサイズはリサイズ畳み込みよりモデリング力が高い。
• 類似のコスト下で提案手法はリサイズ畳み込みより小さなテスト誤差の解へ収束する。