[論文レビュー] Exploring Multi-Scale Feature Propagation and Communication for Image Super Resolution

Ruicheng Feng, Weipeng Guan+2 more|arXiv (Cornell University)|Aug 1, 2020

Advanced Image Processing Techniques参考文献 12被引用数 12

ひとこと要約

本稿では、効率的な特徴伝搬とスケール間通信を可能にする多スケール畳み込みユニットであるMS³-Convを提案する。標準畳み込みと比較して、パrameterを75%削減し、計算量を67%削減しながらも、グリッドやストライプといった高周波成分の再構築において優れた性能を発揮する。

ABSTRACT

Multi-scale techniques have achieved great success in a wide range of computer vision tasks. However, while this technique is incorporated in existing works, there still lacks a comprehensive investigation on variants of multi-scale convolution in image super resolution. In this work, we present a unified formulation over widely-used multi-scale structures. With this framework, we systematically explore the two factors of multi-scale convolution -- feature propagation and cross-scale communication. Based on the investigation, we propose a generic and efficient multi-scale convolution unit -- Multi-Scale cross-Scale Share-weights convolution (MS$^3$-Conv). Extensive experiments demonstrate that the proposed MS$^3$-Conv can achieve better SR performance than the standard convolution with less parameters and computational cost. Beyond quantitative analysis, we comprehensively study the visual quality, which shows that MS$^3$-Conv behave better to recover high-frequency details.

研究の動機と目的

• 多スケール畳み込みの画像超解像における役割を、特徴伝搬とスケール間通信に焦点を当て、体系的に調査すること。
• 既存のSR手法における多スケール構造に関する包括的でない分析の欠如に応えること。
• 精度と効率の両面で標準畳み込みを上回る、汎用的で効率的かつ即挿し可能な多スケール畳み込みユニットを設計すること。
• PSNRを超えて視覚的品質を評価し、特に繊細なテクスチャーや高周波パターンの回復を重視すること。
• 多スケールネットワークが、PSNR値が単一スケールベースラインと類似している場合でも、より優れた知覚的品質を達成できることを示すこと。

提案手法

• U-Net、Octave、Multi-grid畳み込みを含む多スケール畳み込み構造を、共有変換関数によって統一的な定式化を提案する。
• 段階的設計を採用：基本的な多スケール畳み込み（MS-Conv）から始め、双方向のスケール間接続を追加（MS²-Conv）、最終的に共有重みと小型フィルタを適用（MS³-Conv）。
• 高・低スケールのフィルタ間で重みを共有することでパrameter数を削減しながら、性能を維持する。
• 複数のスケールで特徴を処理するマルチブランチアーキテクチャを採用し、専用のスケール間フィルタを介して情報交換を実現する。
• SRResNet や CARN といった最先端のネットワークに、MS³-Convユニットを即挿し可能な形で組み込み、直接比較を可能にする。
• 複数のデータセットおよびスケーリング要因において、アブレーションスタディと視覚的比較を通じて設計選択の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 特徴伝搬とスケール間通信は、超解像における多スケール畳み込みの性能にどのように影響を与えるか？
• RQ2 U-Net、Octave、Multi-grid畳み込みといった多様な多スケール畳み込みアーキテクチャを統一的なフレームワークで説明可能か？
• RQ3 多スケールSRネットワークにおいて、モデル効率（パrameter数とFLOPs）と性能の最適なトレードオフは何か？
• RQ4 高周波成分のテクスチャー（例：グリッドやストライプ）に対して、多スケールネットワークは単一スケールベースラインと比べて視覚的品質で優れているか？
• RQ5 PSNR値と超解像結果の知覚的品質の間には、どの程度の相関があるか？

主な発見

• DIV2Kデータセットにおいて、MS³-Convは0.45Mパラメータと15.06G FLOPsでPSNR 32.02を達成し、PSNRは類似しているものの視覚的品質で標準畳み込みベースラインを上回る。
• 標準畳み込みベースラインと比較して、MS³-Convは計算コストを67%削減し、パラメータ数を75%削減しながらも、競争力のあるPSNRを維持している。
• DIV2Kデータセットにおいて、CARNに適用したMS³-Convは1.03Mパラメータで32.14のPSNRを達成し、元のCARNモデルよりも視覚的詳細回復性能が優れている。
• 視覚的比較では、MS³-Convは常にラティスやシマシマのストライプといった高周波構造を正確に回復するが、標準畳み込みは誤ったまたはぼやけたパターンを出力する。
• 平坦な領域（例：画像0830）においてPSNRが3.4 dB低下しても、MS³-Convの出力はベースラインと知覚的に区別がつかないため、PSNRが視覚的品質の代替指標として常に信頼できるわけではないことが示された。
• 低スケーリング要因（0.5）において、標準畳み込みはアリasingや構造の損失を示すが、MS³-Convはパターンを保持しており、スケール変動に対して高いロバスト性を示している。