[論文レビュー] On the Generalization of BasicVSR++ to Video Deblurring and Denoising

Kelvin C. K. Chan, Shangchen Zhou+2 more|arXiv (Cornell University)|Apr 11, 2022

Advanced Image Processing Techniques被引用数 12

ひとこと要約

この論文は、入出力解像度が同一のタスクに適応した長期的特徴伝搬とフロー駆動型可変アライメントを用いて、BasicVSR++を動画のぼけ取りおよびノイズ除去に一般化する。入力の畳み込みによるダウンサンプリングと光流計算の解像度低減により、トランスフォーマーに基づく手法と比較して最大79%のパラメータ削減と44倍の高速化を達成し、SOTA性能を実現した。これは、再帰的動画修復アーキテクチャの広範な適用可能性を示している。

ABSTRACT

The exploitation of long-term information has been a long-standing problem in video restoration. The recent BasicVSR and BasicVSR++ have shown remarkable performance in video super-resolution through long-term propagation and effective alignment. Their success has led to a question of whether they can be transferred to different video restoration tasks. In this work, we extend BasicVSR++ to a generic framework for video restoration tasks. In tasks where inputs and outputs possess identical spatial size, the input resolution is reduced by strided convolutions to maintain efficiency. With only minimal changes from BasicVSR++, the proposed framework achieves compelling performance with great efficiency in various video restoration tasks including video deblurring and denoising. Notably, BasicVSR++ achieves comparable performance to Transformer-based approaches with up to 79% of parameter reduction and 44x speedup. The promising results demonstrate the importance of propagation and alignment in video restoration tasks beyond just video super-resolution. Code and models are available at https://github.com/ckkelvinchan/BasicVSR_PlusPlus.

研究の動機と目的

• BasicVSR++が動画スーパーエンケージングで成功したのと同じアーキテクチャが、他の動画修復タスクにも一般化できるかを調査すること。
• 動画ぼけ取りやノイズ除去などの多様な動画修復タスクに適した、効率的で汎用的なフレームワークを、BasicVSR++に基づいて開発すること。
• 入力解像度の低減と最適化された特徴処理により、計算コストを低減しながら高い性能を維持すること。
• 再帰的で伝搬に基づくアーキテクチャが、パラメータ数がはるかに少なく、推論がはるかに速いにもかかわらず、トランスフォーマーに基づくモデルと同等またはそれを上回る精度を達成できることを示すこと。

提案手法

• 入出力解像度が同一のタスクにおいて、入力フレームを畳み込みでダウンサンプリングすることで空間次元と計算負荷を低減する。
• 光流計算の解像度を低減することで、さらに計算コストを削減しつつ、アライメント精度を維持する。
• BasicVSR++のコアコンponentsを保持する：長期的特徴伝搬のための2次グリッド伝搬と、ロバストな特徴アライメントのためのフロー駆動型可変畳み込み。
• フレーム間で共有された特徴空間を再帰的処理で利用し、長期的な時間的依存性を活用する。
• ℓ₂損失よりも訓練の安定性と外れ値への耐性に優れるため、Charbonnier損失を採用する。
• 学習率のウォームアップとコサインスケジューリングを適用し、初期段階で光流ネットワークの重みを固定することで、訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 BasicVSR++のアーキテクチャは、動画スーパーエンケージングを超えて、他の動画修復タスクへ一般化可能か？
• RQ2 入力解像度の低減が、動画ぼけ取りおよびノイズ除去における性能と効率に与える影響は何か？
• RQ3 再帰的で畳み込みベースのフレームワークは、パラメータ数がはるかに少なく、推論がはるかに速いにもかかわらず、トランスフォーマーに基づくモデルと同等の性能を達成できるか？
• RQ4 入力ダウンサンプリング係数を変化させた際の、モデル効率と修復品質のトレードオフは何か？

主な発見

• GoProデータセットにおける動画ぼけ取りにおいて、BasicVSR++はPSNR 34.61 dB、SSIM 0.9566を達成し、EDVR や DBLRNet を含む先行手法を上回るSOTA性能を示した。
• DVDデータセットでは、PSNR 37.59 dB、SSIM 0.9566を達成し、動きによるぼけ取りにおいて強力な性能を示した。
• Set8における動画ノイズ除去において、↓2のダウンサンプリングを適用したBasicVSR++はPSNR 34.17 dB、SSIM 0.9238を達成し、PaCNetを1.49 dBと0.0292のSSIM向上で上回り、147倍の高速化を達成した。
• ↓4のダウンサンプリングを適用したBasicVSR++は、VRT や VSRT といったトランスフォーマーに基づくモデルと同等の性能を示した。1280×720解像度において、980万パラメータ、131msの推論時間であったのに対し、VRTは3560万パラメータ、243msであった。
• トランスフォーマーに基づく手法と比較して、最大79%のパラメータ削減と44倍の高速化を達成しながら、競争力のある性能を維持した。
• 定性的な結果から、BasicVSR++ ↓4は、他の手法が回復に失敗する細かいディテール（例：「6600」の文字）を復元できており、エッジやテクスチャ再構築の優位性を示している。