[論文レビュー] Lightweight Image Super-Resolution with Hierarchical and Differentiable Neural Architecture Search

Han Huang, Shen Li+4 more|arXiv (Cornell University)|May 9, 2021

Advanced Image Processing Techniques参考文献 45被引用数 10

ひとこと要約

本稿では、情報蒸留に基づく探索空間を用いて、セルレベルおよびネットワークレベルのアーキテクチャを共同で最適化する微分可能で階層的なニューラルアーキテクチャ探索（NAS）フレームワークを提案する。この手法は、単一のGPUで×2の超解像に対して68G Multi-Adds、×4の超解像に対して18G Multi-Addsの計算量で、最先端のPSNRおよびSSIM性能を達成し、手作業で設計されたモデルや従来のNASベースのSISRモデルに比べて、効率性と精度の両面で優れている。

ABSTRACT

Single Image Super-Resolution (SISR) tasks have achieved significant performance with deep neural networks. However, the large number of parameters in CNN-based methods for SISR tasks require heavy computations. Although several efficient SISR models have been recently proposed, most are handcrafted and thus lack flexibility. In this work, we propose a novel differentiable Neural Architecture Search (NAS) approach on both the cell-level and network-level to search for lightweight SISR models. Specifically, the cell-level search space is designed based on an information distillation mechanism, focusing on the combinations of lightweight operations and aiming to build a more lightweight and accurate SR structure. The network-level search space is designed to consider the feature connections among the cells and aims to find which information flow benefits the cell most to boost the performance. Unlike the existing Reinforcement Learning (RL) or Evolutionary Algorithm (EA) based NAS methods for SISR tasks, our search pipeline is fully differentiable, and the lightweight SISR models can be efficiently searched on both the cell-level and network-level jointly on a single GPU. Experiments show that our methods can achieve state-of-the-art performance on the benchmark datasets in terms of PSNR, SSIM, and model complexity with merely 68G Multi-Adds for $ imes 2$ and 18G Multi-Adds for $ imes 4$ SR tasks. Code will be available at \url{this https URL}.

研究の動機と目的

• CNNベースのSISRモデルの高い計算コストとパラメータの負担を、効率的なアーキテクチャ設計によって軽減すること。
• 手作業で設計されたSISRモデルの限界を克服するため、柔軟で自動化された探索フレームワークを導入すること。
• SISRのためのマイクロアーキテクチャとマクロ構造を同時に最適化する、セルレベルとネットワークレベルの共同探索空間を開発すること。
• 強化学習や進化的アルゴリズムに依存しない、効率的でエンドツーエンド微分可能なNASを実現し、単一GPUで学習可能にする。
• 既存の軽量SISR手法と比較して、PSNR、SSIM、モデル複雑度の面で優れた性能を達成すること。

提案手法

• 特徴表現の向上を重視する軽量な演算を優先する情報蒸留メカニズムに基づくセルレベル探索空間を設計する。
• セルレベルおよびネットワークレベルのアーキテクチャ選択において勾配ベース最適化が可能な微分可能探索戦略を定式化する。
• セル間の特徴フロー接続をモデル化することで、最適な情報伝達経路を同定するネットワークレベル探索空間を構築する。
• セルレベルとネットワークレベルの探索を統合した一貫性のある微分可能パイプラインを構築し、1回の学習プロセスでアーキテクチャと重みを同時に最適化する。
• 全探索プロセスを単一GPUで実行し、強化学習や進化的アルゴリズムに依存するNAS手法と比較して、著しく訓練コストを削減する。
• 1段階の学習目的関数を用いた微分可能アーキテクチャ探索（DARTSスタイル）を適用し、効率的に軽量SISRモデルを探索する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で階層的なNASフレームワークは、効率性と精度を向上させながら、軽量SISRのセルレベルおよびネットワークレベルのアーキテクチャを共同で最適化できるか？
• RQ2 情報蒸留に基づくセルレベル探索空間は、SISRタスクにおけるモデル複雑度の低減と性能向上をどのように実現するか？
• RQ3 完全に微分可能な探索パイプラインは、SISR分野における強化学習や進化的アルゴリズムに比べて、計算コストをどの程度削減できるか？
• RQ4 FLOPs制限が厳しい条件下で、SISR性能を向上させる最適なセル間情報フローのパターンは何か？
• RQ5 提案手法は、パラメータ数と推論コストを抑えたまま、PSNRおよびSSIMで最先端の性能を達成できるか？

主な発見

• 提案手法は、×2および×4の超解像タスクにおいて、ベンチマークデータセットで最先端のPSNRおよびSSIM性能を達成した。
• 最終的に探索されたモデルは、×2超解像で68G Multi-Adds、×4超解像で18G Multi-Addsの計算量にとどまり、計算複雑度が顕著に低減された。
• 微分可能探索パイプラインにより、単一GPU上で効率的なアーキテクチャ探索が可能となり、高価な強化学習や進化的アルゴリズムの使用が不要になった。
• 情報蒸留に基づくセルレベル探索空間は、軽量で高い影響を持つ演算を選択することで、精度と効率のバランスを効果的に実現した。
• ネットワークレベルの探索により、モデルサイズを増加させずに性能を向上させる最適な特徴接続パターンが同定された。
• 本手法は、既存の手作業設計およびNASベースのSISRモデルと比較して、精度とモデル複雑度の両面で優れており、優れた効率-精度トレードオフを示した。