[論文レビュー] ClassSR: A General Framework to Accelerate Super-Resolution Networks by Data Characteristic

Xiangtao Kong, Hengyuan Zhao+2 more|arXiv (Cornell University)|Mar 6, 2021

Advanced Image Processing Techniques参考文献 6被引用数 11

ひとこと要約

ClassSRは、2K–8Kの大きな画像における超解像（SR）ネットワークの高速化を目的とした汎用フレームワークを提案する。入力画像を単純・中程度・困難の3つの難易度に分類し、それに応じて軽量・中程度・フル容量のSRネットワークを適用することで、FLOPsを最大50%削減しながら性能に劣化を来さない。分類モジュールを2つの新規損失関数（Class-LossとAverage-Loss）と共同で訓練することで、他の低レベルビジョンタスク（ノイズ除去など）への一般化も可能である。

ABSTRACT

We aim at accelerating super-resolution (SR) networks on large images (2K-8K). The large images are usually decomposed into small sub-images in practical usages. Based on this processing, we found that different image regions have different restoration difficulties and can be processed by networks with different capacities. Intuitively, smooth areas are easier to super-solve than complex textures. To utilize this property, we can adopt appropriate SR networks to process different sub-images after the decomposition. On this basis, we propose a new solution pipeline -- ClassSR that combines classification and SR in a unified framework. In particular, it first uses a Class-Module to classify the sub-images into different classes according to restoration difficulties, then applies an SR-Module to perform SR for different classes. The Class-Module is a conventional classification network, while the SR-Module is a network container that consists of the to-be-accelerated SR network and its simplified versions. We further introduce a new classification method with two losses -- Class-Loss and Average-Loss to produce the classification results. After joint training, a majority of sub-images will pass through smaller networks, thus the computational cost can be significantly reduced. Experiments show that our ClassSR can help most existing methods (e.g., FSRCNN, CARN, SRResNet, RCAN) save up to 50% FLOPs on DIV8K datasets. This general framework can also be applied in other low-level vision tasks.

研究の動機と目的

• 入力サイズの増加に伴い2乗的に増加するFLOPsの増大による、2K–8Kの大きな画像における超解像（SR）の計算コストの高さを解決すること。
• コンテンツの難易度にかかわらず、すべての画像領域に同一のネットワーク構造を適用する従来のSRネットワークの制限を克服すること。
• アーキテクチャの再設計を必要とせず、既存のSRモデルを高速化できる汎用的で即挿し可能なフレームワークの開発。
• 画像領域の復元難易度に応じて異なるネットワーク容量を割り当てることで、適応的推論を可能にすること。
• 本フレームワークが、ノイズ除去などの他の低レベルビジョンタスクにも一般化可能であることを示すこと。

提案手法

• 大規模な入力画像を小さなサブ画像（例：32×32）に分割し、局所的処理を実施する。
• 2段階のパイプラインを導入：難易度分類用のClass-Module（単純／中程度／困難）と、容量が異なる複数のSRブランチを備えたネットワークコンテナを備えたSR-Module。
• 二重損失訓練戦略を設計：Class-Lossは各サブ画像の正しく分類を促進し、Average-Lossは特定クラスに偏らないよう防止する。
• まずSR-ModuleをL1損失を用いて訓練し、次にすべての損失（L1、Class-Loss、Average-Loss）を用いてClass-Moduleを微調整し、最後にエンドツーエンドの共同最適化を実施。
• 異なるチャネル数および層数を持つSRブランチを構築することで、FLOPsレベルに応じた効果的な容量スケーリングを実現。
• FSRCNN、CARN、SRResNet、RCANなど多様なSRモデルに本フレームワークを適用し、DnCNNをベースネットワークとして用いてノイズ除去への応用も拡張。

実験結果

リサーチクエスチョン

• RQ1 大規模な超解像入力からのサブ画像を、復元難易度に基づいて効果的に分類することで、適応的推論を可能にできるか？
• RQ2 再構築品質の低下を招かずに、分類ヘッドが適切なSRネットワークブランチにサブ画像を割り当てられるか？
• RQ3 異なる画像複雑度レベルにわたって、バランスよく正確な分類が保証されるために必要な損失関数は何か？
• RQ4 ClassSRは、多様なSRモデルにおいて、PSNR性能を維持しつつ、どの程度FLOPsを削減できるか？
• RQ5 本フレームワークは、復元難易度にばらつきがある他の低レベルビジョンタスク（超解像以外）にも一般化可能か？

主な発見

• DIV8Kデータセットにおいて、FSRCNN、CARN、SRResNet、RCANなど複数のSRモデルで、PSNRに劣化を来さずにFLOPsを最大50%まで削減した。
• Test8Kセットでは、ClassSR-FSRCNNが元のFSRCNNと同等のPSNRを達成したが、FLOPsはわずか55%にまで削減された。
• Class-Lossは収束に不可欠である。Class-Lossなしでは、Average-Lossの影響によりモデルがランダムなクラス割り当てに収束してしまう。
• Average-Lossは、最も複雑なブランチに過剰に過剰適合するのを防ぎ、すべての入力を重いネットワークに流す悪質な局所最適解を回避する。
• 本フレームワークはクラス数の変動に強く、2クラスでも高い性能を示すが、クラス数を増やすことでわずかに精度が向上する。
• ClassSRは他の低レベルタスクにも一般化可能である。DnCNNをベースに画像ノイズ除去に適用した場合、元のモデルより高いPSNRを達成した一方で、Test4KではFLOPsを33%削減した。