[論文レビュー] Super-Resolution using Convolutional Neural Networks without Any Checkerboard Artifacts

Yusuke Sugawara, Sayaka Shiota+1 more|arXiv (Cornell University)|Jun 7, 2018

Advanced Image Processing Techniques参考文献 20被引用数 6

ひとこと要約

この論文は、デセッションやサブピクセル畳み込みなどのアップサンプリング層を備えた畳み込みニューラルネットワーク（CNN）を用いた超解像（SR）手法において、チェス盤模様アーティファクトを排除するための新しい条件を提案する。線形マルチレートシステムにおけるポリフェーズフィルタ条件を非線形CNNに拡張することで、すべてのポリフェーズ成分が等しいDC応答を持つことを保証し、平均二乗誤差と知覚的損失の両方において完全なアーティファクト抑制を実現する。同時に、高い効率性と画像品質を維持する。

ABSTRACT

It is well-known that a number of excellent super-resolution (SR) methods using convolutional neural networks (CNNs) generate checkerboard artifacts. A condition to avoid the checkerboard artifacts is proposed in this paper. So far, checkerboard artifacts have been mainly studied for linear multirate systems, but the condition to avoid checkerboard artifacts can not be applied to CNNs due to the non-linearity of CNNs. We extend the avoiding condition for CNNs, and apply the proposed structure to some typical SR methods to confirm the effectiveness of the new scheme. Experiment results demonstrate that the proposed structure can perfectly avoid to generate checkerboard artifacts under two loss conditions: mean square error and perceptual loss, while keeping excellent properties that the SR methods have.

研究の動機と目的

• デセッションおよびサブピクセル畳み込み層を用いたCNNベースの超解像手法における、長年のチェス盤模様アーティファクト問題に取り組むこと。
• 従来、線形マルチレートシステムにのみ適用可能であったチェス盤模様アーティファクト回避の理論的条件を、非線形CNNに拡張すること。
• 既存のSRネットワークの性能を損なわず、実用的で効率的かつ普遍的に適用可能な方法を構築すること。
• 平均二乗誤差と知覚的損失の両方の設定において、最先端モデルでアーティファクトを誘発することが知られている条件下で、手法の有効性を検証すること。

提案手法

• アップサンプリング層のすべてのポリフェーズ成分が等しいDC応答を持つことを保証することで、線形システムにおけるポリフェーズフィルタ条件 $ R_1(1) = R_2(1) = \cdots = R_U(1) = G $ を非線形CNNに拡張する。
• フィルタ初期化または構造の変更により、デセッションおよびサブピクセル畳み込み層にこの条件を適用し、すべてのポリフェーズ成分に均一なDCゲインを実現する。
• 2つのアプローチ（A/BおよびC）を導入：1つは学習可能な $ H_0(z) $ フィルタを用い、もう1つは固定された $ H_0(z) $ を用いる。両者とも $ H(z) = P(z)H_0(z) $ かつ $ H_0(z) = \sum_{i=0}^{U-1} z^{-i} $ を満たすように設計する。
• アップサンプリング層が拡張条件を満たすように、修正されたネットワークアーキテクチャを採用し、時間変動的挙動を防ぎ、チェス盤模様の発生を抑制する。
• Adam最適化子を用いた標準的な学習手法を採用し、VGG-16特徴量を介した平均二乗誤差と知覚的損失の両方を用いて、耐性と視覚的品質を評価する。
• 標準データセット（Set14, DIV2K）を用いて検証し、$ 72\times72 $ のHRおよび $ 18\times18 $ のLRパッチを用い、$ U=4 $ とする。

実験結果

リサーチクエスチョン

• RQ1 線形マルチレートシステムにおいてアーティファクトを回避する理論的条件を、アップサンプリング層を備えた非線形CNNに拡張可能か？
• RQ2 アップサンプリング層のすべてのポリフェーズ成分に等しいDC応答を強制することで、CNNベースのSRネットワークにおけるチェス盤模様アーティファクトが完全に除去可能か？
• RQ3 提案手法は、最先端モデルでアーティファクトを誘発することが知られている平均二乗誤差と知覚的損失の両方の設定において、アーティファクトを抑制可能か？
• RQ4 既存のアーティファクト低減手法と比較して、高い画像品質と計算効率を維持できるか？
• RQ5 この手法は、デセッションおよびサブピクセル畳み込みに基づくSRネットワークの両方に対して、適用可能かつ有効であるか？

主な発見

• 提案手法は、平均二乗誤差と知覚的損失の両方の設定において、デセッションおよびサブピクセル畳み込みベースのSRネットワークでチェス盤模様アーティファクトを効果的に除去した。
• アプローチBおよびC（$ H_0 $ を用いる）は、視覚的品質とアーティファクト抑制の両面でアプローチAを上回り、知覚的損失下でも顕著な改善を示した。
• 後処理に依存しないにもかかわらず、視覚的比較による明確な知覚的品質およびシャープネスの向上により、高い画像品質を維持していることが裏付けられた。
• 提案構造（Deconv+H₀およびSub-pixel+H₀）の実行時間は、リサイズ畳み込み（例：$ 128\times128 $ 入力で0.299秒対0.0295秒）よりも顕著に短く、計算効率が優れている。
• さまざまな入力解像度およびデータセットにおいて一貫したアーティファクト抑制が達成され、PSNRや知覚的品質に劣化が生じない。
• リサイズ畳み込みに比べ、高メモリや高計算コストを要せず、効率的かつアーティファクトフリーなSRを実現可能である。