[論文レビュー] NAS-DIP: Learning Deep Image Prior with Neural Architecture Search

Yunchun Chen, Chen Gao+2 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Image Processing Techniques参考文献 85被引用数 4

ひとこと要約

本稿では、画像の事前知識を学習するためのU-Netベースアーキテクチャにおいて、ニューラルアーキテクチャ探索（NAS）を用いて最適なアップサンプリングセルおよびスケール間残差接続パターンを自動で発見するNAS-DIPを提案する。アップサンプリング操作とスキップ接続の探索空間を活用した強化学習により、NAS-DIPは学習フリー手法の中で最先端の性能を達成し、画像修復および画像生成タスクにおいて学習ベースのモデルと同等の結果を示した。

ABSTRACT

Recent work has shown that the structure of deep convolutional neural networks can be used as a structured image prior for solving various inverse image restoration tasks. Instead of using hand-designed architectures, we propose to search for neural architectures that capture stronger image priors. Building upon a generic U-Net architecture, our core contribution lies in designing new search spaces for (1) an upsampling cell and (2) a pattern of cross-scale residual connections. We search for an improved network by leveraging an existing neural architecture search algorithm (using reinforcement learning with a recurrent neural network controller). We validate the effectiveness of our method via a wide variety of applications, including image restoration, dehazing, image-to-image translation, and matrix factorization. Extensive experimental results show that our algorithm performs favorably against state-of-the-art learning-free approaches and reaches competitive performance with existing learning-based methods in some cases.

研究の動機と目的

• 構造的画像プライアリティのためのより良いニューラルアーキテクチャを発見することで、学習フリー画像修復を向上させること。
• 既存のディープ画像プライアリティ手法において未だ十分に検討されていない、デコーダーのアップサンプリングセルと固定スキップ接続の設計を解決すること。
• エンコーダデコーダーネットワークにおけるアップサンプリング操作とクロスレベルの残差接続の両方のための探索空間を構築すること。
• 大規模なラベル付きデータセットを必要とせずに、多様な画像修復および画像生成タスクにおいてNAS-DIPの有効性を検証すること。
• NASが、U-Net や DIP といった手作業で設計されたモデルを凌駕するアーキテクチャを発見できることを示すこと。

提案手法

• アップサンプリング操作を空間的解像度の変更（例：双一次補間、最近傍補間）と特徴量変換（例：2次元逆畳み込み）に分解することで、アップサンプリングセルの探索空間を設計する。
• エンコーダーとデコーダー層間の特徴量統合の柔軟で学習可能なパターンを許容する、スケール間残差接続のための探索空間を構築する。
• 再帰的ニューラルネットワークコントローラーを用いた強化学習ベースのNASフレームワークを採用し、PSNRを報酬信号として使用する。
• 教師なしで、特定のタスク（例：スーパーレンダリング、ノイズ除去、穴埋め、霞み除去）の最適アーキテクチャをコントローラーが探索できるように訓練する。
• 1つのタスク（例：ノイズ除去）で探索したアーキテクチャを、別のタスク（例：ペairドでない画像間変換）に転送することで汎化性能を評価する。
• PSNR や FID といった標準指標を用いて性能を評価し、被験者によるユーザースタディーを実施して知覚的品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャ探索は、手作業で設計されたものよりも優れたアップサンプリングセルを発見できるか？
• RQ2 学習されたスケール間残差接続パターンは、固定されたU-Netスキップ接続と比較して画像修復性能を向上させられるか？
• RQ3 アップサンプリングセルと接続パターンの両方を同時に探索することで、多様な画像修復タスクにおいて一貫した性能向上が得られるか？
• RQ4 NASで発見されたアーキテクチャは、ペアドでない画像間変換のような学習ベースのタスクにも汎化可能か？
• RQ5 PSNRおよび知覚的品質の観点から、NAS-DIPは最先端の学習フリーおよび学習ベースの手法と比較してどのように差をつけるか？

主な発見

• 4倍スーパーレンダリングにおいて、Set14データセットでPSNRが27.84に達し、DIPと比較して0.84ポイントの向上を示した。これは画像修復における顕著な改善を示している。
• 8倍スーパーレンダリングでは、PSNRが24.59に達し、DIPと比較して0.44ポイントの向上を示した。これは学習されたアップサンプリングセルの有効性を裏付けている。
• 画像穴埋めタスクでは、PSNRが34.72にまで向上し、DIPと比較して1.24ポイントの向上を示した。このタスクで最も顕著な性能向上が観察された。
• ノイズ除去タスクでは、PSNRが31.42に達し、DIPと比較して0.99ポイントの向上を示した。これは、タスク全体にわたる一貫した向上を示している。
• ペアドでない画像間変換タスクに転送した場合、Summer→WinterタスクでFIDが78.62から76.22に低下し、生成品質の向上を示した。
• ユーザースタディーの結果、79.3％の参加者がNAS-DIPによる変換結果を標準のCycleGANモデルよりも好んだ。これは知覚的優位性を確認している。