[論文レビュー] A learning-based approach for automatic image and video colorization

Raj Kumar Gupta, Alex Yong-Sang Chia+2 more|arXiv (Cornell University)|Apr 15, 2017

Image Enhancement Techniques参考文献 5被引用数 5

ひとこと要約

この論文では、スーパピクセルとランダムフォレスト回帰を用いて、ユーザーの干渉なしで自動的に画像および動画の色付けを行う学習ベースの手法を提案する。グレースケールのスーパピクセルに対する彩度値を、参照色画像を用いて学習することで予測し、投票と最適化による精練を経て、手動のスクラッチやマスクを一切不要とせずに高い空間的一致性と競争力のある結果を達成する。大規模な動きや隠蔽がある多様な画像および動画において、最先端の手法を上回る性能を発揮する。

ABSTRACT

In this paper, we present a color transfer algorithm to colorize a broad range of gray images without any user intervention. The algorithm uses a machine learning-based approach to automatically colorize grayscale images. The algorithm uses the superpixel representation of the reference color images to learn the relationship between different image features and their corresponding color values. We use this learned information to predict the color value of each grayscale image superpixel. As compared to processing individual image pixels, our use of superpixels helps us to achieve a much higher degree of spatial consistency as well as speeds up the colorization process. The predicted color values of the gray-scale image superpixels are used to provide a 'micro-scribble' at the centroid of the superpixels. These color scribbles are refined by using a voting based approach. To generate the final colorization result, we use an optimization-based approach to smoothly spread the color scribble across all pixels within a superpixel. Experimental results on a broad range of images and the comparison with existing state-of-the-art colorization methods demonstrate the greater effectiveness of the proposed algorithm.

研究の動機と目的

• 手動のスクラッチやマスクを排除することで、画像および動画の色付けにおけるユーザーの干渉を低減または排除すること。
• 個々のピクセルではなくスーパピクセル上で処理することで、空間的一致性の向上と計算効率の改善を図ること。
• 動画シーケンスにおける大規模なオブジェクトの位置ずれや隠蔽に対しても効果的に機能する、頑健な色付けフレームワークの開発。
• 空間的位置情報やセグメンテーション入力なしに、既存の最先端手法と同等またはそれを上回る品質の自動色付けを実現すること。

提案手法

• 空間的に一貫性のある画像領域をスーパピクセルセグメンテーションでグループ化することで、計算複雑度を低減し、空間的一致性を向上させる。
• 局所的な外観と周辺構造のコンテキストに基づいて、各スーパピクセルから特徴量を抽出し、テクスチャーや構造を表現する。
• 参照色画像を処理して、それらのスーパピクセルに量子化された色ラベルを計算し、ランダムフォレスト回帰器の学習データとする。
• 学習済みのランダムフォレストが、各グレースケール画像のスーパピクセルに対して彩度（RGB全体ではなく）を予測し、スーパピクセルの重心にマイクロスクラッチを生成する。
• 投票ベースの精錬ステップにより、類似したスーパピクセルを統合し、スクラッチの正確性を向上させ、ノイズを低減する。
• 最適化に基づく色の拡散技術により、精錬されたマイクロスクラッチを各スーパピクセル全体に滑らかに伝搬し、最終的な色付け画像を生成する。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチが、ユーザーが指定する色のスクラッチやマスクを一切必要とせずに、高品質な自動色付けを達成できるか。
• RQ2 個々のピクセルではなくスーパピクセルを用いることで、自動色付けにおける空間的一致性と計算効率にどのような影響を与えるか。
• RQ3 参照画像を用いて学習したランダムフォレストモデルが、未学習のグレースケール画像の正確な彩度値をどれほど一般化して予測できるか。
• RQ4 大規模な位置ずれや隠蔽がある動画シーケンスにおいて、従来のオプティカルフロー手法がしばしば失敗する状況でも、この手法はどの程度の性能を発揮するか。

主な発見

• 提案手法は、グランドトゥース画像と同等の視覚的品質を達成し、ユーザー入力が必要な手法を含む複数の最先端手法を上回る結果を示した。
• 手動の色スクラッチやセグメンテーションの必要性が排除され、ユーザー作業が著しく軽減された。この手法は、1枚以上の参照色画像のみに依存する。
• スーパピクセルの使用により、ピクセル単位の手法と比較して、空間的一致性が向上し、処理速度も向上したが、高い視覚的品質を維持した。
• オプティカルフローに基づく手法が通常失敗するような、大規模なオブジェクトの位置ずれや隠蔽がある動画フレーム間でも、色の転送が成功した。
• 特に複雑な領域やテクスチャが豊富な領域では、スクラッチ精錬ステップでの軽微なユーザー操作（例：セグメントの統合）により、さらに結果が向上した。