[論文レビュー] A hybrid approach of interpolations and CNN to obtain super-resolution

Ram Krishna Pandey, A. G. Ramakrishnan|arXiv (Cornell University)|May 23, 2018

Advanced Image Processing Techniques参考文献 18被引用数 5

ひとこと要約

この論文では、従来の補間技術（bicubic、bilinear、最近傍）と浅い畳み込みニューラルネットワーク（CNN）を組み合わせた軽量な超解像手法を提案している。特徴量の非線形融合を学習し、スキップ接続を用いることで、計算コストが低く、さまざまなデータセット（4×拡大に対しても）に一般化しやすく、最先端のPSNR性能を達成している。

ABSTRACT

We propose a novel architecture that learns an end-to-end mapping function to improve the spatial resolution of the input natural images. The model is unique in forming a nonlinear combination of three traditional interpolation techniques using the convolutional neural network. Another proposed architecture uses a skip connection with nearest neighbor interpolation, achieving almost similar results. The architectures have been carefully designed to ensure that the reconstructed images lie precisely in the manifold of high-resolution images, thereby preserving the high-frequency components with fine details. We have compared with the state of the art and recent deep learning based natural image super-resolution techniques and found that our methods are able to preserve the sharp details in the image, while also obtaining comparable or better PSNR than them. Since our methods use only traditional interpolations and a shallow CNN with less number of smaller filters, the computational cost is kept low. We have reported the results of two proposed architectures on five standard datasets, for an upscale factor of 2. Our methods generalize well in most cases, which is evident from the better results obtained with increasingly complex datasets. For 4-times upscaling, we have designed similar architectures for comparing with other methods.

研究の動機と目的

• 多様な自然画像データセットに一般化しやすく、計算コストが低い超解像手法の開発。
• 深層学習ベースの超解像における従来の補間技術（bicubic、bilinear、最近傍）を入力特徴として用いる役割の調査。
• 浅いCNNを用いて、補間入力を非線形的に組み合わせることで、画像再構築品質の向上。
• モデルの複雑さを低減しつつ、より深い最先端モデルを上回るか同等の性能を維持すること。
• 最近傍補間とスキップ接続の組み合わせが、微細なディテールや高周波成分をどのように保持するかの調査。

提案手法

• モデルは、低解像度入力画像に3つの従来の補間手法（bicubic、bilinear、最近傍）を適用することで形成されるハイブリッド入力空間を利用する。
• 浅いCNNが、3つの補間特徴マップの非線形組み合わせを学習し、高解像度画像を再構築する。
• 2番目のアーキテクチャでは、最近傍補間入力から最終出力層へのスキップ接続を組み込み、特徴の保持を強化している。
• 再構築誤差を最小化する損失関数を用いて、bicubic事前処理を必要とせずにエンドツーエンドで学習する。
• 4×拡大の場合、特徴を段階的にアップサンプリングするスタックド逆畳み込み層を備えた類似のアーキテクチャ（I4CおよびI2CI2C）が設計されている。
• トレーニングおよび推論時に、すべての3色チャンネルを同時に処理することで、特徴の整合性が向上している。

実験結果

リサーチクエスチョン

• RQ1 従来の補間と浅いCNNのハイブリッドアプローチは、計算コストを低く抑えつつ、競争力のある超解像性能を達成できるか？
• RQ2 複数の補間手法の統合は、多様な画像データセットにわたるモデルの一般化能力をどのように向上させるか？
• RQ3 深層学習ベースの超解像フレームワークにおいて、最近傍補間が果たす貢献は何か。特に、文献ではしばしば無視されがちな点について。
• RQ4 パrameter数が少ない軽量CNNは、PSNRおよび知覚的品質の面で、より深い複雑なモデルをどの程度上回れるか？
• RQ5 最近傍補間とスキップ接続を組み合わせることで、高周波成分のディテール保持と再構築忠実度はどの程度向上するか？

主な発見

• 2×拡大において、5つの標準データセットで、提案手法は最先端の深層学習ベースの超解像技術と同等またはそれ以上のPSNRを達成している。
• モデルは、徐々に複雑化するデータセットに対しても良好に一般化しており、データセットの複雑さが増すほど性能が向上している。
• 4×拡大において、I2CI2Cアーキテクチャは、数百万のパラメータを持つ深層モデルSRGANと同等の知覚的品質を実現しているが、はるかに単純なアーキテクチャを採用している。
• 深層学習ではしばしば軽視される最近傍補間は、特にスキップ接続アーキテクチャにおいて、シャープネスと微細なディテールの保持に重要な役割を果たしている。
• 真値画像を直接モデルに入力しても高い再構築品質を維持していることから、モデルのロバストネスと正確な多様体アライメントが示されている。
• 最近年の最先端手法と比較して、はるかに少ないパラメータ数と低い計算コストで高い性能を達成しており、リアルタイム応用に適している。