[論文レビュー] Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution

Bin Sun, Yulun Zhang+2 more|arXiv (Cornell University)|Mar 16, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本稿では、特徴表現を向上させつつ計算量とパラメータ数を最小限に抑えるために、ピクセルアンシャッフルダウンサンプリングと自己残差深度分離畳み込みを組み合わせた軽量なハイブリッドピクセルアンシャッフルネットワーク（HPUN）を提案する。HPUNは、従来の手法よりも少ないパラメータ数と低いFLOPsで最先端の性能を達成しており、ベンチマークデータセットにおいて自己アンサンブルモデルでさえも上回っている。

ABSTRACT

Convolutional neural network (CNN) has achieved great success on image super-resolution (SR). However, most deep CNN-based SR models take massive computations to obtain high performance. Downsampling features for multi-resolution fusion is an efficient and effective way to improve the performance of visual recognition. Still, it is counter-intuitive in the SR task, which needs to project a low-resolution input to high-resolution. In this paper, we propose a novel Hybrid Pixel-Unshuffled Network (HPUN) by introducing an efficient and effective downsampling module into the SR task. The network contains pixel-unshuffled downsampling and Self-Residual Depthwise Separable Convolutions. Specifically, we utilize pixel-unshuffle operation to downsample the input features and use grouped convolution to reduce the channels. Besides, we enhance the depthwise convolution's performance by adding the input feature to its output. Experiments on benchmark datasets show that our HPUN achieves and surpasses the state-of-the-art reconstruction performance with fewer parameters and computation costs.

研究の動機と目的

• 深層畳み込みニューラルネットワークに基づく超解像モデルにおける高い計算コストの課題に対処すること。
• パラメータ数の増加なしに、SISRにおける深度分離畳み込みの性能低下を緩和するための自己残差強化機構を導入すること。
• 情報損失の懸念があるため、従来は直感的でないが、ダウンサンプリングのSISRへの適用可能性を検証すること。
• 最小限のパラメータ数とFLOPsで高い再構成品質を維持する軽量なアーキテクチャを設計すること。
• 効率的なネットワーク設計を指針とするために、特徴類似度（NME）とモデル性能の関係を調査すること。

提案手法

• 入力特徴を直接出力に加える自己残差深度分離畳み込み（SR-DSC）を導入し、追加のパラメータなしに表現能力を向上させる。
• ピクセルアンシャッフル操作、マックスプーリング、グループ畳み込みを用いたピクセルアンシャッフルダウンサンプラーを提案し、低周波成分を抽出しながら情報損失を最小限に抑える。
• 提案されたダウンサンプラーとSR-DSCを組み合わせたピクセルアンシャッフルブロック（PUB）を設計し、計算コストを低減しつつ効果的な特徴学習を実現する。
• PUB内の1つのSR-DSC層を標準畳み込みに置き換えることで、ハイブリッドピクセルアンシャッフルネットワーク（HPUN）を構築し、特徴の伝達性と性能を向上させる。
• データシミュレーションにバイリニア（BI）劣化モデルを用い、Set5、Set14、B100、Urban100、Manga109の標準ベンチマークで評価する。
• トレーニング時のモデル複雑度を増加させずに、自己アンサンブル推論を適用して性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 情報損失のリスクがあるにもかかわらず、ダウンサンプリング操作は超解像に効果的に適用可能だろうか？
• RQ2 パラメータ数の増加なしに、SISRにおける深度分離畳み込みをどのように強化できるか？
• RQ3 軽量SISRネットワークにおいて、特徴類似度（NMEで測定）とモデル性能の最適なバランスは何か？
• RQ4 標準畳み込みと自己残差深度分離畳み込みをハイブリッドに組み合わせたアーキテクチャは、計算コストを最小限に抑えながら優れた性能を達成できるか？
• RQ5 ピクセルアンシャッフルダウンサンプリングによる低周波成分の統合は、SISRにおける再構成品質の向上に寄与するか？

主な発見

• HPUN-Lは、×4スケールにおいてすべてのベンチマークデータセットで最先端のPSNRを達成し、LatticeNet-CL+のような自己アンサンブルモデルをも上回っている。
• 自己アンサンブルを適用した場合、HPUN-Lはパラメータ数とFLOPsが少ないにもかかわらず、LatticeNet-CL+よりも平均0.11 dB高いPSNRを達成している。
• HPUN-Sは、SRFBN-SとCARNと同等の性能を達成しており、それぞれのパラメータ数の64.4%および4.2%、FLOPsの1.4%および13.9%にとどまっている。
• 浅い特徴と深い特徴の間のNME（特徴類似度）が上昇するに従い、ネットワークの性能も上昇するが、約0.007の閾値を超えると低下する傾向にあり、最適なNME値が存在することが示唆された。
• より多くのピクセルアンシャッフルダウンサンプラーまたは残差接続を追加することで、NMEがこの最適値に近づくことが分かった。これは、効率的なネットワークアーキテクチャ設計のための設計原則を示している。
• Urban100およびManga109における視覚的結果では、HPUN-Lは競合手法と比較して、特にManga109の複雑なテクスチャにおいて、より少ないアーティファクトとよりシャープなテクスチャを再構成している。