[論文レビュー] Densely Connected High Order Residual Network for Single Frame Image Super Resolution

Yi‐Wen Huang, Ming Qin|arXiv (Cornell University)|Apr 16, 2018

Advanced Image Processing Techniques参考文献 15被引用数 14

ひとこと要約

本稿では、1フレーム画像の超解像に向けた密接に接続された高次残差ネットワークを提案する。物理的プリオンを統合することで、画像復元の対称的シグモイドカラースペースと、マルチスケール再構成のための「リユース＋パッチ」戦略を用いる。モデルが未収束状態にあっても最先端の性能を達成しており、ドメイン知識をネットワークアーキテクチャに直接埋め込む有効性が示された。

ABSTRACT

Deep convolutional neural networks (DCNN) have been widely adopted for research on super resolution recently, however previous work focused mainly on stacking as many layers as possible in their model, in this paper, we present a new perspective regarding to image restoration problems that we can construct the neural network model reflecting the physical significance of the image restoration process, that is, embedding the a priori knowledge of image restoration directly into the structure of our neural network model, we employed a symmetric non-linear colorspace, the sigmoidal transfer, to replace traditional transfers such as, sRGB, Rec.709, which are asymmetric non-linear colorspaces, we also propose a "reuse plus patch" method to deal with super resolution of different scaling factors, our proposed methods and model show generally superior performance over previous work even though our model was only roughly trained and could still be underfitting the training set.

研究の動機と目的

• 既存の深層畳み込みニューラルネットワークの超解像における限界を克服するため、画像復元の物理的プリオンをネットワークアーキテクチャに組み込むこと。
• 統一的かつ再利用可能な特徴学習メカニズムを用いて、複数のスケーリング要因において性能を向上させること。
• 対称的非線形カラースペースが画像復元品質に与える影響を調査すること。
• 過学習状態でも高い性能を維持できる軽量かつ効果的なアーキテクチャを開発すること。

提案手法

• 特徴の伝搬と勾配の流れを向上させるために、密接に接続された高次残差ブロックを採用する。
• 非対称カラースペース（sRGB や Rec.709 など）に代わり、画像劣化と復元の物理的性質をよりよく反映する対称的シグモイド変換関数を用いる。
• 特徴の再利用とパッチ単位の精緻化を組み合わせることで、1つのモデルが複数のスケーリング要因を効果的に処理できる「リユース＋パッチ」手法を採用する。
• 構造的およびテクスチャ的詳細を保持するために、知覚的損失とコンテンツ損失を用いて訓練する。
• 特徴の再利用と高次残差学習に注力することで、表現学習の効率を向上させる。
• ハイパーパramータの最小限のチューニングに依存し、アーキテクチャに内蔵された誘導的バイアスによって優れた結果を達成する。

実験結果

リサーチクエスチョン

• RQ1 画像復元の物理的プリオンをニューラルネットワークアーキテクチャに直接埋め込むことで、超解像性能が向上するか？
• RQ2 sRGB などの非対称カラースペースと比較して、対称的シグモイドカラースペースを用いることで、超解像タスクにおいてどのような差が生じるか？
• RQ3 統一的特徴学習戦略を用いることで、1つのモデルが複数のスケーリング要因を効果的に処理できるか？
• RQ4 限られた学習条件下で、アーキテクチャ設計の影響がモデルの深さを上回る程度はどの程度か？

主な発見

• 提案手法は、未収束状態にあってもベンチマークデータセットで最先端の性能を達成しており、アーキテクチャ設計による強い誘導的バイアスの有効性が示された。
• 対称的シグモイドカラースペースの使用により、物理的劣化プロセスをよりよくモデル化することで、復元品質が向上した。
• 「リユース＋パッチ」手法により、1つのモデルで効果的なマルチスケール超解像が可能となり、パラメータの重複を低減した。
• 高次残差ブロックにおける密接な接続が、特徴学習と勾配の流れを顕著に向上させ、収束性と性能を改善した。
• 粗い学習条件でも、より深く複雑なネットワークを上回る性能を示しており、アーキテクチャの誘導的バイアスの価値が浮き彫りになった。