[論文レビュー] An Attention-Based Approach for Single Image Super Resolution

Yuan Liu, Yuancheng Wang+5 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Image Processing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、高周波数のテクスチャ領域を明示的に特定し、選択的に強調することで、単一画像超解像（SISR）のためのアテンションベースの深層学習フレームワークを提案する。特徴抽出のための新規DenseResブロックと、テクスチャ豊富な領域に注目するハイブリッドU-netアテンション機構を統合することで、ベンチマークデータセット上でVDSRに比べ0.54 dB、DRCNに比べ0.52 dBのPSNR向上を達成し、最先端の性能を実現した。

ABSTRACT

The main challenge of single image super resolution (SISR) is the recovery of high frequency details such as tiny textures. However, most of the state-of-the-art methods lack specific modules to identify high frequency areas, causing the output image to be blurred. We propose an attention-based approach to give a discrimination between texture areas and smooth areas. After the positions of high frequency details are located, high frequency compensation is carried out. This approach can incorporate with previously proposed SISR networks. By providing high frequency enhancement, better performance and visual effect are achieved. We also propose our own SISR network composed of DenseRes blocks. The block provides an effective way to combine the low level features and high level features. Extensive benchmark evaluation shows that our proposed method achieves significant improvement over the state-of-the-art works in SISR.

研究の動機と目的

• 既存の手法でしばしばぼやけてしまう、小さなテクスチャなどの高周波数ディテールを回復する課題に対処すること。
• 均一な修復ではなく、高周波数テクスチャ領域を明示的に特定し、選択的に強調するメカニズムを開発すること。
• 低レベル特徴と高レベル特徴間の特徴統合を改善し、細かいディテールの再構成を向上させること。
• 既存のSISRネットワークに統合可能なプラグイン型アテンションモジュールを設計し、性能を向上させること。

提案手法

• 特徴の流れを向上させるとともに勾配消失を軽減する、密なスキップ接続を備えた残差ブロックアーキテクチャであるDenseResブロックを導入する。
• テクスチャ豊富な領域と滑らかな領域を区別するためのハイブリッド密度結合U-netをアテンション機構として提案する。
• アテンションマップを特徴選択子として用い、高周波数特徴を明示的に強調し、滑らかな領域のノイズを抑制する。
• 視覚的品質と構造的類似性を向上させるために、MSEに加えて知覚的損失と adversarial 損失を用いる。
• SRResNet、VDSR、DRCN などの既存SISRネットワークに、性能向上を目的としたプラグインコンponentとしてアテンションモジュールを統合する。
• PSNRと視覚的妥当性の両方を最適化するため、コンテンツ損失、知覚的損失、および adversarial 損失の組み合わせを用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 SISRにおいて、高周波数テクスチャ領域を特定し強調するのに、アテンション機構が有効に機能するか。
• RQ2 提案されたDenseResブロックは、SISRネットワークにおける特徴統合とネットワーク学習の安定性を向上させるか。
• RQ3 アテンション機構は、既存のSISRアーキテクチャに一般化可能であり、性能向上に寄与するか。
• RQ4 提案手法は、PSNRと視覚的品質の両面で、最先端のSISR手法と定量的・定性的に比較して優れているか。

主な発見

• 提案手法は、標準ベンチマークデータセット上でVDSRに比べ0.54 dB、DRCNに比べ0.52 dBのPSNR向上を達成した。
• SRResNet、VDSR、DRCNに統合された際、アテンション機構は収束性とテスト性能を顕著に向上させ、それぞれ0.15 dB、0.093 dB、0.18 dBの向上をもたらした。
• 視覚的比較では、SRCNN、DRCN、VDSR および他のSOTA手法と比較して、提案手法がより正確に微細なテクスチャとエッジを回復していることが示された。
• すべての比較手法の中で最高のSSIMスコアを達成しており、構造的保持性に優れていることを示している。
• アテンション機構は、滑らかな領域のノイズを効果的に抑制しながらテクスチャディテールを強調し、出力のぼやけを低減した。
• アテンションモジュールのプラグイン型設計により、さまざまなSISRネットワークに適用可能であり、広範な適用性と一貫した性能向上を示した。