[論文レビュー] Wider Channel Attention Network for Remote Sensing Image Super-resolution

Jun Gu, Guangluan Xu+4 more|arXiv (Cornell University)|Dec 13, 2018

Advanced Image Processing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、ワイドアテンションブロック内にチャネルアテンション、ローカルメモリ接続（LMC）、および特徴マップの特徴融合を統合することで、特徴表現を向上させる、リモートセンシング画像向けの新規単一画像スーパーレゾリューション手法であるWider Channel Attention Network（WCAN）を提案する。WCANは情報の流れを改善し、モデルの性能を向上させ、UC Mercedデータセットで最先端の結果を達成した。

ABSTRACT

Recently, deep convolutional neural networks (CNNs) have obtained promising results in image processing tasks including super-resolution (SR). However, most CNN-based SR methods treat low-resolution (LR) inputs and features equally across channels, rarely notice the loss of information flow caused by the activation function and fail to leverage the representation ability of CNNs. In this letter, we propose a novel single-image super-resolution (SISR) algorithm named Wider Channel Attention Network (WCAN) for remote sensing images. Firstly, the channel attention mechanism is used to adaptively recalibrate the importance of each channel at the middle of the wider attention block (WAB). Secondly, we propose the Local Memory Connection (LMC) to enhance the information flow. Finally, the features within each WAB are fused to take advantage of the network's representation capability and further improve information and gradient flow. Analytic experiments on a public remote sensing data set (UC Merced) show that our WCAN achieves better accuracy and visual improvements against most state-of-the-art methods.

研究の動機と目的

• リモートセンシング画像向けの既存のCNNベースのスーパーレゾリューション手法における情報伝達の制限と、特徴表現能力の未活用の問題に対処すること。
• ワイドアテンションブロック内にチャネルアテンション機構を導入することで、グローバルな文脈に基づいてチャネルごとの特徴の重要度を再キャリブレーションし、特徴のキャリブレーションを向上させること。
• 短い期間の特徴記憶を各層間で維持することで、ローカルメモリ接続（LMC）機構を提案し、勾配と特徴の伝搬を強化すること。
• 各ワイドアテンションブロック内で特徴マップを統合することで、ネットワークの表現力の向上を図ること。

提案手法

• 複数の畳み込み層を統合することで受容 field を拡大し、特徴学習を向上させるワイドアテンションブロック（WAB）を設計する。
• グローバルな文脈に基づいてチャネルごとの特徴の重要度を適応的に再キャリブレーションするために、WAB内でチャネルアテンションを適用する。
• 短い期間の特徴記憶を各層間で維持することで、長距離依存性を保持・伝搬するため、ローカルメモリ接続（LMC）を導入する。
• 各WAB内の異なる段階からの特徴マップを統合することで、表現能力の向上と情報・勾配の流れの改善を図る。
• 複数のWABをスキップ接続と組み合わせた全体のネットワークアーキテクチャを構築し、学習の安定化と再構成品質の向上を図る。
• 構造的忠実度と視覚的リアリズムの両方を向上させるために、知覚的損失と adversarial 損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 チャネルごとの特徴再キャリブレーションは、リモートセンシング画像のスーパーレゾリューション性能にどのように寄与するか？
• RQ2 残差接続とメモリ機構による情報伝達の強化は、特徴学習にどの程度寄与するか？
• RQ3 ワイドアテンションブロック内での特徴統合は、より良い表現と再構成品質をもたらすか？
• RQ4 定量的指標と視覚的品質の両面で、提案されたWCANは最先端手法と比較してどのように差をつけるか？

主な発見

• WCANは、大多数の最先端手法と比較して、UC Merced リモートセンシングデータセットで優れた性能を達成した。
• ワイドアテンションブロック内にチャネルアテンションを統合することで、より効果的な特徴再キャリブレーションと向上した表現学習が実現した。
• ローカルメモリ接続（LMC）機構により、情報と勾配の流れが強化され、収束が速くなり、特徴の保存性も向上した。
• 各WAB内での特徴統合は、マルチスケールのディテールとテクスチャを捉える能力を顕著に向上させた。
• 視覚的結果から、WCANは再構成された高解像度画像において、よりシャープなエッジとより現実的なテクスチャを生成することがわかった。
• PSNR や SSIM などの定量的指標においても、WCANは優れた精度を示し、リモートセンシング画像スーパーレゾリューションにおける有効性を裏付けた。