[論文レビュー] DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement

Satoshi Iizuka, Edgar Simo‐Serra|arXiv (Cornell University)|Sep 18, 2020

Advanced Image Processing Techniques参考文献 47被引用数 5

ひとこと要約

本論文では、時間的ソース・リファレンス注釈ネットワークを用いた、包括的なレトロ映画のリマスタリングを1つのエンドツーエンドフレームワークで行うDeepRemasterを提案する。複数のリファレンスカラー画像を新たな注釈機構で活用することで、スーパーレゾリューション、ノイズ除去、コントラスト強化、色付けを統合的に実行し、最小限のユーザー入力で長時間の動画において高品質で時間的に一貫性のある結果を達成する。

ABSTRACT

The remastering of vintage film comprises of a diversity of sub-tasks including super-resolution, noise removal, and contrast enhancement which aim to restore the deteriorated film medium to its original state. Additionally, due to the technical limitations of the time, most vintage film is either recorded in black and white, or has low quality colors, for which colorization becomes necessary. In this work, we propose a single framework to tackle the entire remastering task semi-interactively. Our work is based on temporal convolutional neural networks with attention mechanisms trained on videos with data-driven deterioration simulation. Our proposed source-reference attention allows the model to handle an arbitrary number of reference color images to colorize long videos without the need for segmentation while maintaining temporal consistency. Quantitative analysis shows that our framework outperforms existing approaches, and that, in contrast to existing approaches, the performance of our framework increases with longer videos and more reference color images.

研究の動機と目的

• 古びた映画におけるノイズ、ぼやけ、低解像度、色の劣化という複雑で相互に絡み合った課題に対処すること。
• スーパーレゾリューション、ノイズ除去、コントラスト強化、色付けを同時に実行する統合的なディーブラーニングフレームワークの開発。
• セグメンテーションを必要とせず、任意の数のリファレンスカラー画像を用いた半インタラクティブなリマスタリングの実現。
• 長時間の動画シーケンスにおけるリマスタリングで時間的一貫性を確保すること。
• 実際のフィルム劣化を模擬するデータ駆動型のトレーニングパイプラインを構築し、モデルの一般化能力を強化すること。

提案手法

• 複数の動画フレームを同時に処理するため、空間的・時間的文脈を捉えるために時間的畳み込みネットワーク（TCNs）を採用する。
• 各出力フレームに対して、複数のリファレンスカラー画像内の関連領域を動的に注目する、新規のソース・リファレンス注釈機構を採用する。
• 注釈機構により、関連するリファレンス画像および空間的領域を効率的に選択可能となり、任意の数のリファレンス画像の利用が可能になる。
• 実際のフィルム劣化を模擬するため、合成的かつデータ拡張された動画劣化データ上でエンドツーエンドでモデルをトレーニングする。
• 修復と色付けのヘッドを統合し、画像品質と時間的一致性を同時に最適化する。
• 15フレームの文脈窓を有する時間的畳み込みにより動きの整合性を確保し、自己注意機構によりフレーム間での特徴伝搬を強化する。

実験結果

リサーチクエスチョン

• RQ1 1つのディーブラーニングフレームワークが、スーパーレゾリューション、ノイズ除去、コントラスト、色付けという複数の相互に依存するリマスタリングタスクを同時に効果的に処理できるか。
• RQ2 セグメンテーションを必要とせず、任意の数のリファレンスカラー画像を効率的に活用するための注釈機構は、どのように設計できるか。
• RQ3 従来の手法とは異なり、長時間の動画シーケンスやより多くのリファレンス画像を用いることで、リマスタリングの性能が向上するか。
• RQ4 クローズアップやパノラマなど多様なシーンにおいて、統一的な注釈ベースのアプローチで時間的一致性を維持できるか。
• RQ5 データ駆動型の劣化シミュレーションは、実際の古びた映画における一般化能力と性能向上にどの程度寄与するか。

主な発見

• 提案されたソース・リファレンス注釈機構により、複数のリファレンス画像を効果的に活用でき、色付けの品質と一貫性が顕著に向上した。
• GTX 1080Ti GPU上で1フレームあたり69msの推論時間（うち65msが色付け処理）を達成し、実用的な効率性を示した。
• 定量的評価では、長時間の動画やより多くのリファレンス画像を用いることで性能が向上する傾向が確認され、これは従来手法では観察されなかった特徴であった。
• 定性的な比較では、大規模なノイズやぼやけの除去において、[Zhang et al., 2017b] や [Vondrick et al., 2018] のパイプラインベース手法を上回る修復性能を示した。
• フレーム単位の処理ステップで6枚のリファレンスカラー画像のみを用いて700フレームのリマスタリングを成功させ、安定的で自然な色出力を維持した。
• 制限事項として、深刻なフレーム欠落や極端な劣化（例えば、画像の大規模領域の欠落）には対応できない。これは現在の範囲外の画像補完技術を要する。