[論文レビュー] Local-Global Temporal Difference Learning for Satellite Video Super-Resolution

Yi Xiao, Qiangqiang Yuan+5 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Vision and Imaging参考文献 68被引用数 4

ひとこと要約

本稿では、局所的およびグローバルな時間的差分を活用して効果的なモーション補償を実現する、新しい地球観測衛星動画超解像手法LGTDを提案する。隣接フレーム間の短時間スケールRGB差分と、シーケンス全体における長時間スケールの双方向差分をモデル化することで、特徴のアライメントと再構成の忠実度が向上し、5つの地球観測衛星動画データセットにおいて最先端の性能を達成した。単方向ベースライン比でPSNR最大0.23dBの向上を達成した。

ABSTRACT

Optical-flow-based and kernel-based approaches have been extensively explored for temporal compensation in satellite Video Super-Resolution (VSR). However, these techniques are less generalized in large-scale or complex scenarios, especially in satellite videos. In this paper, we propose to exploit the well-defined temporal difference for efficient and effective temporal compensation. To fully utilize the local and global temporal information within frames, we systematically modeled the short-term and long-term temporal discrepancies since we observed that these discrepancies offer distinct and mutually complementary properties. Specifically, we devise a Short-term Temporal Difference Module (S-TDM) to extract local motion representations from RGB difference maps between adjacent frames, which yields more clues for accurate texture representation. To explore the global dependency in the entire frame sequence, a Long-term Temporal Difference Module (L-TDM) is proposed, where the differences between forward and backward segments are incorporated and activated to guide the modulation of the temporal feature, leading to a holistic global compensation. Moreover, we further propose a Difference Compensation Unit (DCU) to enrich the interaction between the spatial distribution of the target frame and temporal compensated results, which helps maintain spatial consistency while refining the features to avoid misalignment. Rigorous objective and subjective evaluations conducted across five mainstream video satellites demonstrate that our method performs favorably against state-of-the-art approaches. Code will be available at https://github.com/XY-boy/LGTD

研究の動機と目的

• 静的背景と複雑な運動に起因する、地球観測衛星動画超解像における不正確な時間的補償の課題に対処すること。
• 大規模で冗長な地球観測衛星動画シーケンスを扱う際の、オプティカルフロー法やカーネルベース手法の限界を克服すること。
• オプティカルフローに代わるより頑健なモーション表現として、局所的およびグローバルな時間的差分を活用すること。
• 差分補償ユニット（DCU）を導入することで、空間的一致性と特徴の忠実度を向上させ、超解像再構成における性能を向上させること。
• 再構成にハイブリッドアテンションメカニズムを用いることで、地球観測衛星動画超解像分野で最先端の性能を達成すること。

提案手法

• 隣接フレーム間のRGB差分を計算することで局所的モーション表現を抽出する短時間スケール時間的差分モジュール（S-TDM）を提案する。
• 前方と後方のセグメント間の双方向差分をモデル化することで、グローバルな時間的依存性を捉える長時間スケール時間的差分モジュール（L-TDM）を導入する。
• 長距離補償のための包括的時間的差分を計算する前に、滑らかな前方および後方特徴を用いて冗長性を低減する。
• 空間的および時間的表現をアライメントすることで、時間的特徴の変調をガイドする差分補償ユニット（DCU）を採用し、アライメントのずれを低減する。
• 自己アテンションとチャネルアテンションを組み合わせたハイブリッドアテンションメカニズムを用い、局所的およびグローバル特徴を統合して高品質なHRフレームを再構成する。
• S-TDMおよびL-TDMの出力をターゲットフレームと統合する2段階の特徴統合戦略を設計し、空間的・時間的一致性を向上させる。

Figure 1: Comparison between RGB temporal differences and optical flow maps. The optical flow maps were generated by PyFlow [ 34 ] . Temporal differences activate more accurate and sharp cues than optical flows. Besides, the local temporal difference and global temporal difference are not equally in

実験結果

リサーチクエスチョン

• RQ1 オプティカルフローに基づく手法と比較して、明示的な時間的差分モデリングは地球観測衛星動画超解像で優れた性能を発揮できるか？
• RQ2 短時間スケールおよび長時間スケールの時間的差分を効果的に統合することで、地球観測動画におけるモーション表現をどのように向上させられるか？
• RQ3 双方向時間的差分モデリングは、地球観測動画シーケンスにおけるグローバルモーションパターンの捉え方にどのような影響を与えるか？
• RQ4 差分補償ユニット（DCU）は、時間的特徴学習におけるアライメントと空間的一致性をどのように向上させるか？
• RQ5 ハイブリッドアテンションメカニズムは、局所的およびグローバル時間的特徴を統合した上で、高忠実度のHRフレームを効果的に再構成できるか？

主な発見

• 提案されたLGTDモデルは、5つの主要な地球観測衛星動画データセットにおいて最先端の性能を達成し、PSNRと視覚的品質の両面で優れた結果を示した。
• 双方向L-TDM構成は、単方向モデルと比較してPSNRを0.23dB向上させたが、FLOPsの増加はわずかであった。
• 差分補償ユニット（DCU）は空間的忠実度を向上させ、DCUなしのベースラインと比較してPSNRを0.07dB向上させた。
• 再構成におけるハイブリッドアテンションメカニズムは、単独の自己アテンションやチャネルアテンションを上回り、Jilin-Tデータセットで最高のPSNR35.38 dBを達成した。
• アブレーションスタディの結果、S-TDMおよびL-TDMの両方が性能向上に顕著な寄与をしていることが確認され、S-TDMは局所的テクスチャの強化に、L-TDMはグローバルモーションの一貫性向上に寄与した。
• 本手法は、オプティカルフローに比べてより正確で疎なモーション表現を提供する時間的差分を活用することで、地球観測動画の冗長性を効果的に低減した。

Figure 2: The overall structure of our proposed Local-Global Temporal Difference learning network (LGTD). It consists of four modules: (1) Short-term Temporal Difference Module (S-TDM), which is used for local temporal compensation; (2) Long-term Temporal Difference Module (L-TDM), which is proposed