[論文レビュー] A heterogeneous group CNN for image super-resolution

Chunwei Tian, Yanning Zhang+4 more|arXiv (Cornell University)|Sep 26, 2022

Image Processing Techniques and Applications被引用数 4

ひとこと要約

本稿では、対称的および補完的な畳み込みユニットを組み合わせた並列な異種ブロックを用いて低周波数の構造的情報を強化することで、単一画像超解像（SISR）のための異種グループ畳み込みニューラルネットワーク（HGSRCNN）を提案する。この手法は、マルチレベルの強化メカニズムとリフィニメントブロックを統合し、冗長な特徴を抑制するとともに、元の詳細を保持する。これにより、ベンチマークデータセット上で最先端の性能を達成し、推論速度も競争力を持つ。

ABSTRACT

Convolutional neural networks (CNNs) have obtained remarkable performance via deep architectures. However, these CNNs often achieve poor robustness for image super-resolution (SR) under complex scenes. In this paper, we present a heterogeneous group SR CNN (HGSRCNN) via leveraging structure information of different types to obtain a high-quality image. Specifically, each heterogeneous group block (HGB) of HGSRCNN uses a heterogeneous architecture containing a symmetric group convolutional block and a complementary convolutional block in a parallel way to enhance internal and external relations of different channels for facilitating richer low-frequency structure information of different types. To prevent appearance of obtained redundant features, a refinement block with signal enhancements in a serial way is designed to filter useless information. To prevent loss of original information, a multi-level enhancement mechanism guides a CNN to achieve a symmetric architecture for promoting expressive ability of HGSRCNN. Besides, a parallel up-sampling mechanism is developed to train a blind SR model. Extensive experiments illustrate that the proposed HGSRCNN has obtained excellent SR performance in terms of both quantitative and qualitative analysis. Codes can be accessed at https://github.com/hellloxiaotian/HGSRCNN.

研究の動機と目的

• 既存の深層CNNが複雑なシーンの超解像において劣る頑健性を改善すること。
• 内部および外部チャネル関係をモデル化することで、低周波数の構造的情報を強化すること。
• 信号強化を組み込んだ直列リフィニメントブロックにより、冗長な特徴を低減すること。
• 対称的でマルチレベルの強化メカニズムを用いて、元の画像の詳細を保持すること。
• 劣化固有の監視を必要としない平行アップサンプリング機構により、効率的なブラインド超解像訓練を可能とすること。

提案手法

• HGSRCNNは、2本の並列ブランチ（対称的グループ畳み込みブロックと補完的畳み込みブロック）を備えた異種グループブロック（HGB）を採用し、多様なチャネル相互作用をモデル化する。
• 冗長な特徴をフィルタリングし、特徴品質を向上させるために、逐次的信号強化を施したリフィニメントブロックを適用する。
• 対称的なアーキテクチャを段階ごとに強制することで、構造表現力と表現能力を段階的に強化するマルチレベル強化メカニズムを導入する。
• 劣化固有の監視を必要としないブラインド超解像モデルを訓練するため、並列アップサンプリング機構を設計する。
• 視覚的忠実度を向上させるために、知覚的および対抗的損失を用いてエンドツーエンドでネットワークを訓練する。
• 性能と計算コストのバランスを取るために、推論効率を最適化したアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 異種CNNアーキテクチャは、複雑なシーン下での超解像において、低周波数の構造的表現を改善できるか？
• RQ2 並列に配置された対称的および補完的畳み込みユニットを組み合わせることで、SISRにおける特徴学習がどのように向上するか？
• RQ3 直列リフィニメントブロックは、元の画像の詳細を損なわず、特徴の冗長性をどの程度低減できるか？
• RQ4 対称的設計を備えたマルチレベル強化メカニズムは、特徴の表現力とモデルの頑健性を向上させられるか？
• RQ5 提案された並列アップサンプリング機構は、ブラインド超解像モデルの性能と効率にどのように影響を与えるか？

主な発見

• HGSRCNNは、×4スケールでDIV80データセットにおいてPSNR 27.60 dB、SSIM 0.7363を達成し、RDN、CSFM、SRFBNを上回った。
• B100データセットにおいて×4スケールでFSIMスコア0.9785を記録し、CFSRCNNとACNetを上回った。
• 1024×1024の画像に対して×2スケールで0.0418秒の推論時間を達成し、SRFBNの推論時間のわずか4.27％にとどまった。
• パラメータ数（2.178M）とFLOPs（15.05G）は、RDN（21.937Mパラメータ、144.69G FLOPs）よりも顕著に低い。
• 視覚的比較では、VDSR、DRCN、CARN-M、LESRCNN、CFSRCNN、ACNetと比較して、HGSRCNNはズーム領域でよりシャープなテクスチャと明確なエッジを生成した。
• マルチレベル強化メカニズムにより、対称的特徴学習が可能となり、スケール間で構造的一致性と視覚的品質が向上した。