[論文レビュー] Two Decades of Colorization and Decolorization for Images and Videos

Shiguang Liu|arXiv (Cornell University)|Apr 28, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本論文は、20年間にわたり画像および動画の色付け・グレースケール化技術について包括的なレビューを提供しており、半自動的・自動的・深層学習ベースの手法を網羅している。空間的・時間的整合性の維持、特に動画グレースケール化における重要な進展を強調するとともに、効率性、評価指標、データセットのスケーラビリティに関する課題を特定している。

ABSTRACT

Colorization is a computer-aided process, which aims to give color to a gray image or video. It can be used to enhance black-and-white images, including black-and-white photos, old-fashioned films, and scientific imaging results. On the contrary, decolorization is to convert a color image or video into a grayscale one. A grayscale image or video refers to an image or video with only brightness information without color information. It is the basis of some downstream image processing applications such as pattern recognition, image segmentation, and image enhancement. Different from image decolorization, video decolorization should not only consider the image contrast preservation in each video frame, but also respect the temporal and spatial consistency between video frames. Researchers were devoted to develop decolorization methods by balancing spatial-temporal consistency and algorithm efficiency. With the prevalance of the digital cameras and mobile phones, image and video colorization and decolorization have been paid more and more attention by researchers. This paper gives an overview of the progress of image and video colorization and decolorization methods in the last two decades.

研究の動機と目的

• 過去20年間に開発された画像および動画の色付け・グレースケール化手法について、体系的な概要を提供すること。
• 色付け・グレースケール化におけるユーザーインタラクティブ手法から完全自動化および深層学習ベースのアプローチへの進化を分析すること。
• 計算効率、動画処理における時間的整合性、客観的評価指標の欠如といった主な課題を特定すること。
• 深層学習ベースの色付け・グレースケール化技術を進歩させるために、大規模かつ高品質なデータセットの必要性を強調すること。
• 特に動画グレースケール化において、フレーム間の知覚的一致性が果たす役割を検討すること。ここでは、フレッカー（ちらつき）や時間的不整合が依然として深刻な問題である。

提案手法

• スクリッチベース最適化やエグジンプレルからの色移動を含む半自動的色付け手法、および深層学習ベースの自動的色付け手法に分類する。
• 成分法、最大値法、平均値法、加重平均法などの古典的手法をレビューし、知覚的品質の保持に限界があることを強調する。
• グローバルおよびローカルのグレースケール化戦略を分析し、輝度の保持と彩度の詳細回復のバランスを取る手法に焦点を当てる。
• 時間的整合性を強制する動画グレースケール化手法を検討し、バイリテラルフィルタリングベースの残差再構成および近接性に基づくフレーム分類を含む。
• CNN-LSTMアーキテクチャを用いた深層学習ベースの動画グレースケール化を紹介し、局所的意味的エンコーダーと双方向RNNが空間的・時間的整合性を維持することを説明する。
• フレームの近接性に基づいて分類し、適切なグレースケール化戦略を適用するデカラーイゼーション・ガウス混合モデル（DC-GMM）を用いたフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 過去20年間で、ユーザーインタラクティブ手法と自動化手法の両方が、性能および効率性においてどのように進化したか。
• RQ2 動画グレースケール化において時間的整合性を維持するにあたり、主な課題は何か。また、現代の手法はそれらをどのように解決しているか。
• RQ3 深層学習ベースのアプローチは、古典的手法と比較して、画像および動画のグレースケール化の品質と効率性をどの程度向上させているか。
• RQ4 フレーム間の知覚的一致性が、グレースケール化におけるちらつきの低減および時間的整合性の向上に果たす役割は何か。
• RQ5 現在の評価手法における主なギャップは何か。より客観的な指標および大規模データセットが、分野の発展にどのように寄与できるか。

主な発見

• スクリッチやエグジンプレルからの色移動を用いた半自動的色付けは、高品質な結果を達成できるが、ユーザー入力が多岐にわたるためスケーラビリティに制限がある。
• 輝度ベースの変換を用いる古典的手法は、知覚的に重要なコントラストやテクスチャの詳細を正しく保持できないことがある。
• バイリテラルフィルタリングベースのグレースケール化手法は、残差画像をモデル化することで失われたコントラストを効果的に回復し、フレームの変動に対して頑健であるため、時間的整合性を良好に保つ。
• DC-GMMを用いた近接性ベースの動画グレースケール化により、高・中・低近接度のシーケンスにおいてフレームごとに適応的な戦略選択が可能となり、品質が向上する。
• CNNとLSTMネットワークを用いた深層学習ベースの動画グレースケール化は、局所的意味的特徴と長距離依存性をモデル化することで、優れた時間的整合性を達成する。
• 進展は見られるものの、現在の手法は高解像度動画のリアルタイム処理においても課題を抱えており、色付け・グレースケール化の品質を評価するための標準的で客観的な評価指標が依然として不足している。