[論文レビュー] Volumetric Super-Resolution of Multispectral Data

Vildan Atalay Aydın, Hassan Foroosh|arXiv (Cornell University)|May 14, 2017

Advanced Image Fusion Techniques参考文献 84被引用数 9

ひとこと要約

本論文は、複数の日付におけるパンクロマチック（PAN）バンドの空間分解能を超えるボリュームスーパーレゾリューションを達成するために、複数の日付から得られたパンシャープニング済みマルチスペクトル（MS）画像を統合するウェーブレットベースのマルチフレームスーパーレゾリューション手法を提案する。ハールウェーブレットドメインにおけるサブバンド関係を活用することで、時間的および空間的情報を統合し、スペクトルの忠実性を保持しながら空間分解能を向上させる。本手法は、PSNRおよびSSIM指標において、従来の補間法およびIBP手法を上回る性能を発揮する。

ABSTRACT

Most multispectral remote sensors (e.g. QuickBird, IKONOS, and Landsat 7 ETM+) provide low-spatial high-spectral resolution multispectral (MS) or high-spatial low-spectral resolution panchromatic (PAN) images, separately. In order to reconstruct a high-spatial/high-spectral resolution multispectral image volume, either the information in MS and PAN images are fused (i.e. pansharpening) or super-resolution reconstruction (SRR) is used with only MS images captured on different dates. Existing methods do not utilize temporal information of MS and high spatial resolution of PAN images together to improve the resolution. In this paper, we propose a multiframe SRR algorithm using pansharpened MS images, taking advantage of both temporal and spatial information available in multispectral imagery, in order to exceed spatial resolution of given PAN images. We first apply pansharpening to a set of multispectral images and their corresponding PAN images captured on different dates. Then, we use the pansharpened multispectral images as input to the proposed wavelet-based multiframe SRR method to yield full volumetric SRR. The proposed SRR method is obtained by deriving the subband relations between multitemporal MS volumes. We demonstrate the results on Landsat 7 ETM+ images comparing our method to conventional techniques.

研究の動機と目的

• マルチスペクトルリモートセンシングにおいて、時間的および空間的情報を同時に活用しない既存のパンシャープニングおよびスーパーレゾリューション手法の限界を解決すること。
• 複数時刻のパンシャープニング済みMSデータを統合することで、パンクロマチック（PAN）バンドの限界を超えたマルチスペクトル画像の空間分解能を向上させること。
• バンド内サブバンド関係を記述する閉形式のウェーブレットドメインモデルを構築し、正確なマルチフレームスーパーレゾリューション再構成を可能とすること。
• スペクトル情報を保持しながら空間分解能を向上させることで、従来のスーパーレゾリューション技術に見られる過剰な平滑化やスペクトル歪みを是正すること。
• 実際の Landsat 7 ETM+ データを用いて、本手法の有効性を示し、補間法およびIBPに基づく手法と性能を比較すること。

提案手法

• 異なる日付に撮影されたマルチスペクトル（MS）およびパンクロマチック（PAN）画像に対して、まずパンシャープニングを適用し、高空間分解能のMS画像を生成する。
• 1バンドを基準として画像登録を実施し、複数時刻のMS画像をアライメントさせ、回転および平行移動を補正することで、残りのずれが平行移動のみとなるようにする。
• ハールドメインで導出されたサブバンド関係を用いて、フレーム間およびバンド内依存関係をモデル化するウェーブレットベースのマルチフレームスーパーレゾリューションアルゴリズムを開発する。
• 逆ウェーブレット変換とサブバンド再構成を用いて反復的に最適化するコスト関数を定式化し、アップサンプリングと逆変換による初期HR推定値から出発する。
• アルゴリズムは、フレーム間の時間的一致性とPANバンドの空間分解能を活用して、高分解能かつ高スペクトルボリュームの画像を再構成する。
• 閉形式のウェーブレットサブバンドモデルにより、空間的およびスペクトル的相関をフレーム間で符号化することで、計算効率が高く安定した再構成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 パンシャープニングとマルチフレームスーパーレゾリューションを組み合わせることで、PANバンドのネイティブ分解能を超える空間分解能の向上が可能になるか？
• RQ2 複数時刻のマルチスペクトル画像からの時間的情報を、高空間分解能のPANデータと効果的に統合することで、スーパーレゾリューション性能を向上させられるか？
• RQ3 提案手法のウェーブレットドメインサブバンドモデリングは、従来の補間法およびIBPベース手法と比較して、スペクトル保持性およびエッジ詳細の向上にどの程度寄与するか？
• RQ4 提案手法は、再構成された高分解能マルチスペクトルボリュームにおいて、PSNRおよびSSIMを高めつつ、スペクトル歪みを最小限に抑えることができるか？
• RQ5 パンシャープニングとマルチフレームSRRの統合は、独立したパンシャープニングまたはSRR技術と比較して、優れた結果をもたらすか？

主な発見

• 本手法は、Landsat 7 ETM+の全バンド（1, 2, 3, 4, 5, 7）において、バイリニア、バイキュービック、およびIBP補間法よりも高いPSNRおよびSSIM値を達成しており、バンド1では最大34.82 dBのPSNR向上を示した。
• バンド3では、PSNRが27.26 dBに達し、IBP（21.65 dB）およびバイキュービック（22.39 dB）を著しく上回った。これは、エッジおよびテクスチャ再構成の優れた性能を示している。
• バンド4では、PSNRが16.47 dBに達したが、IBPよりは低いものの、SSIMが0.51に保たれており、低コントラスト領域でも安定性を示している。
• 従来手法と比較して、スペクトル情報をより効果的に保持しており、特にバンド1, 2, 5, 7では、本手法のSSIMが0.91を上回った。
• 実データ実験（真値なし）においても、RGBコンpositesの視覚的評価により、ベースライン手法と比較してエッジがよりシャープで、テクスチャの詳細が明確に再構成されていることが確認された。
• 表IIIの定量的評価結果から、本手法はバイリニアおよびバイキュービック補間を常に上回り、特に高スペクトルバンドにおいてIBPと同等またはそれを上回るPSNRおよびSSIMを達成していることが確認された。