[論文レビュー] Fast, Accurate and Lightweight Super-Resolution with Neural Architecture Search

Xiangxiang Chu, Bo Zhang+3 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Image Processing Techniques参考文献 18被引用数 86

ひとこと要約

この論文は、 elastic micro/macro search とハイブリッドRL-EA ジェネレーターを用いて、速く正確で軽量な画像超解像のための多目的ニューラルアーキテクチャ検索フレームワーク FALSR を紹介し、Pareto最適なモデルを生成します。

ABSTRACT

Deep convolutional neural networks demonstrate impressive results in the super-resolution domain. A series of studies concentrate on improving peak signal noise ratio (PSNR) by using much deeper layers, which are not friendly to constrained resources. Pursuing a trade-off between the restoration capacity and the simplicity of models is still non-trivial. Recent contributions are struggling to manually maximize this balance, while our work achieves the same goal automatically with neural architecture search. Specifically, we handle super-resolution with a multi-objective approach. We also propose an elastic search tactic at both micro and macro level, based on a hybrid controller that profits from evolutionary computation and reinforcement learning. Quantitative experiments help us to draw a conclusion that our generated models dominate most of the state-of-the-art methods with respect to the individual FLOPS.

研究の動機と目的

• SR モデルの設計を自動化し、復元品質とリソース効率のバランスを取る。
• SR アーキテクチャのマイクロ/マクロ検索空間を用いた多目的 NAS を探る。
• 多様で高性能なモデルを生成するハイブリッドコントローラ（強化学習 + 進化）を活用する。
• 単一の実行で与えられた制約の下で実用的な SR モデルを生み出す。

提案手法

• SR ネットワークのマイクロ分野のセルレベル検索空間とインターセルのマクロ検索空間を定義する。
• RL ベースの活用と EA ベースの探索を組み合わせたハイブリッドコントローラを用い、NSGA-II 内でモデルアーキテクチャを生成する。
• SR を PSNR、マルチ加算/乗算、パラメータ数の目的を持つ制約付き多目的最適化として扱う。
• モデルを二部の染色体（M_mic, M_mac）で表現し、交差と突然変異戦略で進化させる。
• 不完全訓練を用いて多数のモデルを迅速に評価し、有望な候補を完全訓練へと選択する。
• 標準ベンチマーク（例：DIV2K）上で、算出 FLOPs を比較可能な範囲で、生成モデルを最新の SR 手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 elastic micro/macro NAS 空間は、同等の計算予算のもとで manually designed ネットワークを凌ぐ SR アーキテクチャを生み出せるか？
• RQ2 ハイブリッド RL-EA コントローラは SR の多目的 NAS における探索-活用のトレードオフを改善するか？
• RQ3 多様でセルレベルのアーキテクチャは、密集/モノリシック設計と比べて SR 性能にどのような影響を与えるか？
• RQ4 軽量な FALSR 変種は、制約された FLOPs とパラメータ数の下で最新の SR 手法に匹敵または上回ることができるか？

主な発見

• FALSR-A、FALSR-B、FALSR-C は、標準ベンチマークで競争力のある PSNR/SSIM を、FLOPs やパラメータが低いまたは同等で達成する。
• マイクロおよびマクロ空間の elastic 探索は、多様なセルと接続パターンを生み出し、同様の FLOPs の下でいくつかのベースラインを上回る。
• 固定 FLOP 予算において、FALSR モデルは多くのデータセットで CARN、CARN-M、DRRN などの最新手法を超える、あるいは近接することが多い。
• 密な相互接続は必ずしも最適ではなく、資源制約下で多様なセルを用いた疎結合または混合接続が SR 性能を向上させることがある。
• 不完全訓練により何千ものモデルを効率的にスクリーニングでき、完全訓練は Pareto-front の候補に限定される。
• Pareto front は PSNR の精度と計算コストの間のトレードオフを示しており、FALSR 変種は有利な領域を占める。）