[論文レビュー] Single Image Super Resolution based on a Modified U-net with Mixed Gradient Loss

Zhengyang Lu, Ying Chen|arXiv (Cornell University)|Nov 21, 2019

Advanced Image Processing Techniques参考文献 35被引用数 24

ひとこと要約

本稿では、単一画像超解像（SISR）のための、混合勾配損失を組み込んだ改良型U-Netアーキテクチャを提案する。エッジのシャープネスと再構成品質が向上し、バッチ正規化と不要な畳み込み層を削除することで、パラメータ数と推論時間を削減。MSEと重み付き平均勾配誤差（MixGE）を組み合わせた損失関数を用いることで構造的忠実度が向上し、SET14、BSD300、ICDAR2003データセットで最先端のPSNRおよびSSIMを達成した。

ABSTRACT

Single image super-resolution (SISR) is the task of inferring a high-resolution image from a single low-resolution image. Recent research on super-resolution has achieved great progress due to the development of deep convolutional neural networks in the field of computer vision. Existing super-resolution reconstruction methods have high performances in the criterion of Mean Square Error (MSE) but most methods fail to reconstruct an image with shape edges. To solve this problem, the mixed gradient error, which is composed by MSE and a weighted mean gradient error, is proposed in this work and applied to a modified U-net network as the loss function. The modified U-net removes all batch normalization layers and one of the convolution layers in each block. The operation reduces the number of parameters, and therefore accelerates the reconstruction. Compared with the existing image super-resolution algorithms, the proposed reconstruction method has better performance and time consumption. The experiments demonstrate that modified U-net network architecture with mixed gradient loss yields high-level results on three image datasets: SET14, BSD300, ICDAR2003. Code is available online.

研究の動機と目的

• 既存のSISR手法がシャープなエッジや高勾配成分を再構成する点で抱える限界を解決すること。
• 再構成精度を損なわず、モデルの複雑さと推論時間を低減すること。
• 自然なシーンとテクスチャが豊富な画像データセットの両方で性能を向上させること。
• リアルタイム応用に適した軽量で効率的なアーキテクチャを開発すること。
• ピクセルレベルの正確性（MSE）と構造的忠実度（勾配損失）を統合した損失関数に統合すること。

提案手法

• バッチ正規化層をすべて削除し、各ブロックごとに1つの畳み込み層を削除することで、パラメータ数と計算量を削減した改良型U-Netアーキテクチャを提案。
• 入力画像を直接大きなスケールにアップサンプリングし、同じスケールの対応するブロック間でスキップ接続を確立することで、空間情報を保持。
• 混合勾配誤差（MixGE）損失を導入。これは、Sobelベースの勾配計算を用いたMSEと重み付き平均勾配誤差（MGE）を組み合わせたもの。
• トレーニング中にエンドツーエンドで最適化することで、ピクセルレベルの正確性とエッジのシャープネスの両方を向上。
• PyTorchを用いて、3つのベンチマークデータセット（SET14、BSD300、ICDAR2003）でネットワークをトレーニング。
• モデルはUnetSR+と命名され、GitHubで公開されている。

実験結果

リサーチクエスチョン

• RQ1 部品を削減した改良型U-Netアーキテクチャは、計算コストを低減しつつも、優れたSISR性能を達成できるか？
• RQ2 MSEと勾配ベースの損失を組み合わせることで、MSE単体よりもエッジ再構成が向上するか？
• RQ3 ICDAR2003のようなテクスチャが豊富なデータセットにおいて、提案手法は最先端のモデルと比較してどのように性能を発揮するか？
• RQ4 バッチ正規化と不要な層の削除によって、パラメータ数を削減しながら性能を維持または向上できるか？
• RQ5 SISRタスクにおいて、モデルの複雑さ、推論速度、再構成精度の間にはどのようなトレードオフがあるか？

主な発見

• 提案されたUnetSR+は、スケール×2のICDAR2003データセットで最高のPSNR（26.8546 dB）とSSIM（0.7554）を達成し、他のすべての手法を上回った。
• データセットおよびスケールの平均において、UnetSR+はSRGANと比較してPSNRが10.76%高く、SSIMが11.73%高い。パラメータ数はわずか30%増加にとどまる。
• UnetSR+は、DBPNの36%のパラメータ数にまで削減しながら、PSNRを2.25 dB向上、SSIMを2.47%向上させた。
• 視覚的結果では、ICDAR2003のテキストが豊富なシーンにおいて、ESPNet、DBPN、UnetSRと比較して、細部とシャープなエッジをより正確に再構成していることが明らかになった。
• 自然なシーン（SET14、BSD300）とテクスチャが豊富な（ICDAR2003）データセットの両方で高い性能を維持しており、ドメインをまたがる堅牢性を示した。
• アブレーションスタディにより、バッチ正規化と1つの畳み込み層の削除がパラメータ数を削減しながら性能の劣化を招かないことが確認された。