[論文レビュー] Robust Registration of Gaussian Mixtures for Colour Transfer

Mairéad Grogan, Rozenn Dahyot|arXiv (Cornell University)|May 17, 2017

Image Enhancement Techniques参考文献 29被引用数 9

ひとこと要約

本稿では、ガウス混合モデル（GMM）を用いたロバストでパrametricな色移写手法を提案する。この手法は、ターゲット画像とパレット画像の色分布を登録することで、カスタマイズ可能で合成可能な変換関数を用いた高速かつ並列処理可能な再色調化を実現する。本手法は、最先端技術に比べて処理速度が高く、アーティスト的視覚効果を実現するための変換関数の補間を可能にする。

ABSTRACT

We present a flexible approach to colour transfer inspired by techniques recently proposed for shape registration. Colour distributions of the palette and target images are modelled with Gaussian Mixture Models (GMMs) that are robustly registered to infer a non linear parametric transfer function. We show experimentally that our approach compares well to current techniques both quantitatively and qualitatively. Moreover, our technique is computationally the fastest and can take efficient advantage of parallel processing architectures for recolouring images and videos. Our transfer function is parametric and hence can be stored in memory for later usage and also combined with other computed transfer functions to create interesting visual effects. Overall this paper provides a fast user friendly approach to recolouring of image and video materials.

研究の動機と目的

• 画像および動画の再色調化に形状登録の原則を活用した、高速で柔軟かつロバストな色移写手法の開発。
• GMMから導出されるパrametricな歪み関数を用いて、色移写の計算を効率的かつ並列処理可能にする。
• ユーザー定義の対応点や複数の変換関数の補間を可能にし、芸術的視覚効果を実現する。
• 勾配フィールドにおけるアーチファクトを低減しつつ、高い知覚的品質と計算効率を維持する。
• インタラクティブおよび手続き的色操作のための、変換関数の保存、組み合わせ、再利用を可能にするフレームワークの提供。

提案手法

• ターゲット画像およびパレット画像の色分布をガウス混合モデル（GMM）でモデル化し、複雑な色統計のロバストな表現を可能にする。
• GMMのターゲット画像とパレット画像の間の$L_2$距離を最小化することで、潜在パramータ$θ$を用いたパrametricな歪み関数$φ_{\theta}(x)$を推定する。
• ターゲット画像とパレット画像間のユーザー定義または計算されたピクセル対応点を組み込むことで、外れ値に対してよりロバストな登録を実現する。
• 並列プログラミング技術を用いて再色調化を実装し、画像および動画のリアルタイム処理を可能にする。
• 複数の変換関数$˂{\phi} = φ_{\hat{\theta}}$の合成と補間を可能にし、マスク$γ(p,t)$による空間的・時間的ブレンドを含む動的効果を生成する。
• 過剰な彩度アーチファクトや視覚的品質の向上のため、勾配フィールドの平滑化やクリampingなどの後処理ステップを適用する。

実験結果

リサーチクエスチョン

• RQ1 GMMを用いた色分布の登録は、従来の非パラメトリックまたはアフィン変換手法に比べ、より高速かつロバストな色移写を実現できるか？
• RQ2 ターゲット画像とパレット画像間の対応点を組み込むことで、色移写の精度とロバスティックさはどの程度向上するか？
• RQ3 パラメトリックな歪み関数は、画像および動画における新しい視覚的効果を生成するために、どの程度合成可能で補間可能か？
• RQ4 PSNR、SSIM、CIDおよび知覚的品質の観点から、本手法は最先端技術と定量的・定性的にどの程度比較されるか？
• RQ5 並列処理を用いることで、本フレームワークはリアルタイムでの動画再色調化および動的色移行を効率的にサポートできるか？

主な発見

• 提案手法は、現在の最先端技術に比べて計算速度が優れており、画像および動画の再色調化において最も高速な実装である。
• PSNR、SSIM、CIDの指標において、本手法とトップクラスの手法との間に統計的に有意な差は認められず、定量的性能が同等であることを示している。
• 視覚的検査の結果、特に高コントラスト領域において、競合手法に比べて勾配フィールドのアーチファクトに対してより耐性があることが判明した。
• 変換関数のパラメトリック性のおかげで、効率的な保存・再利用が可能であり、複数の変換関数をシームレスに組み合わせたり補間したりして、複雑な視覚的効果を生成できる。
• 空間的・時間的に変化する補間マスクを用いることで、動的色移行（溶け込み効果や局所的再色調化）を実現できる。
• 勾配の平滑化などの後処理ステップを適用することで、量子化アーチファクトを低減できるが、画像のシャープネスが低下する可能性がある。