[論文レビュー] Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search

Xiangxiang Chu, Bo Zhang+3 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Image Processing Techniques参考文献 18被引用数 86

ひとこと要約

この論文は、 elastic micro/macro search とハイブリッドRL-EA ジェネレーターを用いて、速く正確で軽量な画像超解像のための多目的ニューラルアーキテクチャ検索フレームワーク FALSR を紹介し、Pareto最適なモデルを生成します。

ABSTRACT

Deep convolutional neural networks demonstrate impressive results in the super-resolution domain. A series of studies concentrate on improving peak signal noise ratio (PSNR) by using much deeper layers, which are not friendly to constrained resources. Pursuing a trade-off between the restoration capacity and the simplicity of models is still non-trivial. Recent contributions are struggling to manually maximize this balance, while our work achieves the same goal automatically with neural architecture search. Specifically, we handle super-resolution with a multi-objective approach. We also propose an elastic search tactic at both micro and macro level, based on a hybrid controller that profits from evolutionary computation and reinforcement learning. Quantitative experiments help us to draw a conclusion that our generated models dominate most of the state-of-the-art methods with respect to the individual FLOPS.

研究の動機と目的

• SR モデルの設計を自動化し、復元品質とリソース効率のバランスを取る。
• SR アーキテクチャのマイクロ/マクロ検索空間を用いた多目的 NAS を探る。
• 多様で高性能なモデルを生成するハイブリッドコントローラ（強化学習 + 進化）を活用する。
• 単一の実行で与えられた制約の下で実用的な SR モデルを生み出す。

提案手法

• SR ネットワークのマイクロ分野のセルレベル検索空間とインターセルのマクロ検索空間を定義する。
• RL ベースの活用と EA ベースの探索を組み合わせたハイブリッドコントローラを用い、NSGA-II 内でモデルアーキテクチャを生成する。
• SR を PSNR、マルチ加算/乗算、パラメータ数の目的を持つ制約付き多目的最適化として扱う。
• モデルを二部の染色体（M_mic, M_mac）で表現し、交差と突然変異戦略で進化させる。
• 不完全訓練を用いて多数のモデルを迅速に評価し、有望な候補を完全訓練へと選択する。
• 標準ベンチマーク（例：DIV2K）上で、算出 FLOPs を比較可能な範囲で、生成モデルを最新の SR 手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 elastic micro/macro NAS 空間は、同等の計算予算のもとで manually designed ネットワークを凌ぐ SR アーキテクチャを生み出せるか？
• RQ2 ハイブリッド RL-EA コントローラは SR の多目的 NAS における探索-活用のトレードオフを改善するか？
• RQ3 多様でセルレベルのアーキテクチャは、密集/モノリシック設計と比べて SR 性能にどのような影響を与えるか？
• RQ4 軽量な FALSR 変種は、制約された FLOPs とパラメータ数の下で最新の SR 手法に匹敵または上回ることができるか？

主な発見

Model	Mult-Adds	Params	SET5 PSNR/SSIM	SET14 PSNR/SSIM	B100 PSNR/SSIM	Urban100 PSNR/SSIM
SRCNN	52.7G	57K	36.66/0.9542	32.42/0.9063	31.36/0.8879	29.50/0.8946
FSRCNN	6.0G	12K	37.00/0.9558	32.63/0.9088	31.53/0.8920	29.88/0.9020
VDSR	612.6G	665K	37.53/0.9587	33.03/0.9124	31.90/0.8960	30.76/0.9140
DRCN	17,974.3G	1,774K	37.63/0.9588	33.04/0.9118	31.85/0.8942	30.75/0.9133
LapSRN	29.9G	813K	37.52/0.9590	33.08/0.9130	31.80/0.8950	30.41/0.9100
DRRN	6,796.9G	297K	37.74/0.9591	33.23/0.9136	32.05/0.8973	31.23/0.9188
SelNet	225.7G	974K	37.89/0.9598	33.61/0.9160	32.08/0.8984	-
CARN	222.8G	1,592K	37.76/0.9590	33.52/0.9166	32.09/0.8978	31.92/0.9256
CARN-M	91.2G	412K	37.53/0.9583	33.26/0.9141	31.92/0.8960	31.23/0.9194
MoreMNAS-A	238.6G	1,039K	37.63/0.9584	33.23/0.9138	31.95/0.8961	31.24/0.9187
AWSRN-M	244.1G	1,063K	38.04/0.9605	33.66/0.9181	32.21/0.9000	32.23/0.9294
FALSR-A (ours)	234.7G	1,021K	37.82/0.9595	33.55/0.9168	32.12/0.8987	31.93/0.9256
FALSR-B (ours)	74.7G	326K	37.61/0.9585	33.29/0.9143	31.97/0.8967	31.28/0.9191
FALSR-C (ours)	93.7G	408K	37.66/0.9586	33.26/0.9140	31.96/0.8965	31.24/0.9187

• FALSR-A、FALSR-B、FALSR-C は、標準ベンチマークで競争力のある PSNR/SSIM を、FLOPs やパラメータが低いまたは同等で達成する。
• マイクロおよびマクロ空間の elastic 探索は、多様なセルと接続パターンを生み出し、同様の FLOPs の下でいくつかのベースラインを上回る。
• 固定 FLOP 予算において、FALSR モデルは多くのデータセットで CARN、CARN-M、DRRN などの最新手法を超える、あるいは近接することが多い。
• 密な相互接続は必ずしも最適ではなく、資源制約下で多様なセルを用いた疎結合または混合接続が SR 性能を向上させることがある。
• 不完全訓練により何千ものモデルを効率的にスクリーニングでき、完全訓練は Pareto-front の候補に限定される。
• Pareto front は PSNR の精度と計算コストの間のトレードオフを示しており、FALSR 変種は有利な領域を占める。）