[論文レビュー] Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video Restoration

Jing Lin, Xiaowan Hu+6 more|arXiv (Cornell University)|May 20, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

本論文は、動画フレーム間の長距離時系列依存性をモデル化するためにsequence-to-sequence学習を活用する、非教師ありフローアライメント型のseq2seqモデルS2SVRを提案する。非教師ありオプティカルフロー推定器と新規の distillation 損失を統合することで、低品質（LQ）と高品質（HQ）フレーム間の正確な動きアライメントを実現し、動画のぼやけ取り除き、スーパーレゾリューション、圧縮動画強化の各タスクにおいて、長時間の動画で最先端の性能を達成する。

ABSTRACT

How to properly model the inter-frame relation within the video sequence is an important but unsolved challenge for video restoration (VR). In this work, we propose an unsupervised flow-aligned sequence-to-sequence model (S2SVR) to address this problem. On the one hand, the sequence-to-sequence model, which has proven capable of sequence modeling in the field of natural language processing, is explored for the first time in VR. Optimized serialization modeling shows potential in capturing long-range dependencies among frames. On the other hand, we equip the sequence-to-sequence model with an unsupervised optical flow estimator to maximize its potential. The flow estimator is trained with our proposed unsupervised distillation loss, which can alleviate the data discrepancy and inaccurate degraded optical flow issues of previous flow-based methods. With reliable optical flow, we can establish accurate correspondence among multiple frames, narrowing the domain difference between 1D language and 2D misaligned frames and improving the potential of the sequence-to-sequence model. S2SVR shows superior performance in multiple VR tasks, including video deblurring, video super-resolution, and compressed video quality enhancement. Code and models are publicly available at https://github.com/linjing7/VR-Baseline

研究の動機と目的

• 低計算コストで動画修復（VR）における長距離フレーム間依存性をモデル化する課題に対処すること。
• 自然言語処理（NLP）における1次元時系列モデリングと、2次元でずれた動画フレームの間のドメインギャップを埋めること。
• 劣化した動画におけるデータの不一致と不正確なオプティカルフローを、非教師ありで訓練されたフローエstimatorにより克服すること。
• 複数のVRタスク（ぼやけ取り除き、スーパーレゾリューション、圧縮動画強化など）に適用可能な統合的でタスクに依存しないフレームワークを実現すること。

提案手法

• 自然言語処理（NLP）で開発された元来のsequence-to-sequence（seq2seq）アーキテクチャを採用し、動画シーケンス内の時系列依存性をモデル化する。
• 高品質（HQ）フローを偽ラベルとして用いる新規の distillation 損失で訓練される、非教師ありオプティカルフロー推定器を導入し、低品質（LQ）フロー推定の精度を向上させる。
• 推定されたオプティカルフローを用いて、フレーム間で特徴量を空間的にアライメントさせ、2次元動画と1次元時系列モデリングの間のドメイン差を低減する。
• フローに基づく特徴量ワープを用いて動き補償を実施し、seq2seqフレームワーク内での動きの詳細を保持するとともに、表現学習を強化する。
• LQフローがHQフローを模倣するよう促す自己教師付きdistillation損失を採用し、真値フローの教師なしでアライメント精度を向上させる。
• 合成フローデータセットに依存せず、実世界の動画修復データセット上で、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 sequence-to-sequence学習は、動画修復に効果的に適応可能であり、長距離時系列依存性をモデル化できるか？
• RQ2 劣化した動画入力において、真値フローが入手できない状況で、オプティカルフロー推定をどのように改善できるか？
• RQ3 高品質フローを低品質フローに非教師ありでdistillationすることで、動きアライメントと修復性能が向上するか？
• RQ4 フローアライメントseq2seqモデリングは、特に長時間シーケンスにおいて、既存手法を上回る性能を示すか？

主な発見

• S2SVRは、動画のぼやけ取り除き、スーパーレゾリューション、圧縮動画強化の各タスクで最先端の性能を達成し、先行手法を大きく上回る。
• 832×480解像度のRaceHorsesデータセットにおいて、S2SVRは前回のSOTA手法よりもΔPSNRを最低0.304 dB向上させる。
• 非教師ありフローエステイマは、教師ありベースライン（例：RAFT）および自己教師あり事前学習を上回り、REDs4データセットで31.96 dBのPSNRを達成する。
• S2SVRは長時間シーケンスにおいて優れた性能を示す：50フレーム長のシーケンスにおいて、EDVRに対して0.57 dB、EDVR-Mに対して0.52 dBの向上を達成する。
• アブレーションスタディにより、フローアライメントによる動き補償が特徴表現を顕著に向上させ、より鋭いサリエンシーマップと低減されたぼやけを実現することが確認された。
• 非教師ありdistillation損失は、データの不一致を効果的に低減し、フローの精度を向上させ、LQフローのみを用いた場合よりも優れた修復品質をもたらした。