[論文レビュー] Video Super-resolution with Temporal Group Attention

Takashi Isobe, Songjiang Li+7 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Image Processing Techniques参考文献 35被引用数 9

ひとこと要約

本稿では、時間的グループ化注意（TGA）を用いた動画スーパーレゾリューション手法を提案する。この手法は、入力フレームを異なるフレームレートを持つサブシーケンスにグループ化することで、階層的な空間時間的特徴を統合する。モデルは、グループ間の補完的情報を適応的に統合するためのアテンション機構を採用し、大規模な動きに対処するための高速空間アライメント（FSA）モジュールを備え、Vid4およびVimeo-90K-Tベンチマークで最先端の性能を達成している。

ABSTRACT

Video super-resolution, which aims at producing a high-resolution video from its corresponding low-resolution version, has recently drawn increasing attention. In this work, we propose a novel method that can effectively incorporate temporal information in a hierarchical way. The input sequence is divided into several groups, with each one corresponding to a kind of frame rate. These groups provide complementary information to recover missing details in the reference frame, which is further integrated with an attention module and a deep intra-group fusion module. In addition, a fast spatial alignment is proposed to handle videos with large motion. Extensive results demonstrate the capability of the proposed model in handling videos with various motion. It achieves favorable performance against state-of-the-art methods on several benchmark datasets.

研究の動機と目的

• 既存の動画スーパーレゾリューション手法が運動補償に不正確な光流を依存しているという限界を是正すること。
• 階層的でフレームレートに注意を払ったグループ化戦略を用いて、補完的時間的情報を活用することで、フレーム間の特徴統合を改善すること。
• 高速空間アライメント（FSA）法を用いて、大規模な動きを伴う動画における計算コストと歪みを低減すること。
• 各グループにおける基準フレームの役割を明示的にモデル化することで、詳細回復を向上させること。

提案手法

• 入力動画シーケンスが複数のグループに分割され、それぞれが異なるフレームレートを表すことで、基準フレームに対する補完的時間的情報を提供する。
• 関連性に応じて、基準フレームに対する各グループの特徴を動的に重み付け統合するアテンションモジュールが適用される。
• グループ内特徴統合には、各グループ内での局所的空間時間的表現を抽出するための3次元ドレインブロックが用いられる。
• グループ間特徴統合は、2次元ドレインブロックにより実現され、グループ間の情報を集約することで、長距離時間的モデリングを強化する。
• 特徴抽出の前にフレームを事前にアライメントするため、ホモロジーに基づく高速空間アライメント（FSA）法が導入され、大規模な動きによる歪みを低減する。
• ネットワーク全体がエンドツーエンドで学習され、改善された詳細と時間的整合性を持つ高解像度フレームの再構築が行われる。

実験結果

リサーチクエスチョン

• RQ1 均一なフレームサンプリングと比較して、フレームレートごとに動画フレームをグループ化することで、動画スーパーレゾリューションにおける欠落した詳細の回復が向上するか？
• RQ2 各グループ内に基準フレームを組み込むことで、モデルの補完的時間的特徴の学習能力にどのような影響を与えるか？
• RQ3 大規模な動き下で、光流に基づくアライメントと比較して、ホモロジーに基づく高速アライメント法が性能と効率の両面で優れているか？
• RQ4 提案された時間的グループ化アテンション機構が、多様な時間的グループ間での特徴統合をどの程度改善するか？
• RQ5 グループ化された特徴の階層的統合は、標準的な3次元畳み込みやDUFのような動的フィルタベース手法と比較して、より優れた性能を発揮するか？

主な発見

• 提案されたTGAモデルは、Vid4データセットでPSNR 27.59 dB、SSIM 0.8419を達成し、以前の最先端手法を上回った。
• Vimeo-90K-Tベンチマークでは、PSNR 37.59 dB、SSIM 0.9516を達成し、最先端の性能を示した。
• アブレーションスタディの結果、基準フレームを含むグループ（例：{345,246,147}）は、ベースライングループ（{123,345,567}）と比較してPSNRを0.41 dB向上させた。
• グループアテンションモジュールを削除すると、Vid4で0.2 dB、Vimeo-90K-Tで0.15 dB性能が低下し、その重要性が確認された。
• 高速空間アライメント（FSA）法により、Vimeo-90K-TにおけるPSNRは37.32 dBから37.59 dBに向上し、PyFlowと比較して時間コストを90%以上削減した。
• アテンションマップの可視化により、グループが遮蔽された場合にモデルが代替グループに注目を移すことが確認され、適応的な情報借用が行われていることが示された。