[論文レビュー] Palette-based image decomposition, harmonization, and color transfer

Jianchao Tan, Jose Echevarria+1 more|arXiv (Cornell University)|Apr 4, 2018

Image Enhancement Techniques参考文献 3被引用数 8

ひとこと要約

本稿では、5次元RGBXY空間における幾何学的アプローチに基づく高速でパレット分解可能なフレームワークを提案する。このフレームワークにより、知覚的に均一な色環を用いたリアルタイムの色調調和と色移動が可能になる。600万画素の画像を20msで分解可能であり、軸に基づく調和テンプレートを用いた直感的でスケーラブルなツールをアーティストやデザイナーに提供する。

ABSTRACT

We present a palette-based framework for color composition for visual applications. Color composition is a critical aspect of visual applications in art, design, and visualization. The color wheel is often used to explain pleasing color combinations in geometric terms, and, in digital design, to provide a user interface to visualize and manipulate colors. We abstract relationships between palette colors as a compact set of axes describing harmonic templates over perceptually uniform color wheels. Our framework provides a basis for a variety of color-aware image operations, such as color harmonization and color transfer, and can be applied to videos. To enable our approach, we introduce an extremely scalable and efficient yet simple palette-based image decomposition algorithm. Our approach is based on the geometry of images in RGBXY-space. This new geometric approach is orders of magnitude more efficient than previous work and requires no numerical optimization. We demonstrate a real-time layer decomposition tool. After preprocessing, our algorithm can decompose 6 MP images into layers in 20 milliseconds. We also conducted three large-scale, wide-ranging perceptual studies on the perception of harmonic colors and harmonization algorithms.

研究の動機と目的

• 高解像度画像におけるリアルタイムの色に配慮した編集を可能にするスケーラブルで効率的な画像分解手法の開発。
• 知覚的に均一な色空間（CIE LCh）と色環上の幾何学的テンプレートを用いた色調調和のモデル化。
• アーティストやデザイナーがパレットを操作し、画像を調和させるために直感的でインタラクティブなフレームワークの提供。
• フレームワークの有効性とユーザーの認識を検証するための大規模な知覚的実験の実施。
• 最小限のユーザー入力で高視覚的忠実度を実現する、色移動、再色指定、合成などの応用を可能にする。

提案手法

• 5次元RGBXY空間における幾何学的構造に基づく、数値最適化を不要とする新規な画像分解アルゴリズムの提案。
• 5次元における一般化された重心座標を用い、各画素をパレットに迅速かつ安定して割り当てる。
• 古典的な色彩理論（例：類似色、補色、三色対）に基づき、CIE LCh空間における軸を用いて調和テンプレートを定義。
• 全般的な色相回転とテンプレートの整合性を用いて、参照画像の色調調和を入力画像に移動。
• 2段階の色移動処理を採用：テンプレートの整合性（トーンマッチング用）とテンプレートの移動（色の保存用）。
• 調和処理後の入力パレットと参照パレットの色の平均明度と彩度を一致させるために、知覚的指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、リアルタイムの色編集に適した、かつ知覚的に意味のある画像分解を実現できるか？
• RQ2 知覚的に均一な色空間（CIE LCh）における幾何学的テンプレートは、色調調和を効果的に表現・実現できるか？
• RQ3 パレットベースの色調調和と色移動の結果は、従来の手法と比較してユーザーがどのように認識するか？
• RQ4 テンプレートベースの色移動は、元の色をどれほど保持しつつも視覚的な調和を達成できるか？
• RQ5 色調調和における知覚的限界とユーザーの好みは何か。それらはアルゴリズム設計にどのように反映できるか？

主な発見

• 提案された画像分解アルゴリズムは、事前処理後、600万画素の画像をわずか20ミリ秒で処理可能であり、最先端手法と比較して20倍の高速化を達成した。
• フレームワークはリアルタイムのレイヤー分解とインタラクティブなパレット編集を可能にし、100メガピクセル以上の高解像度画像に対応可能である。
• 知覚的実験の結果、ユーザーの色調調和に対する認識に顕著なばらつきが認められ、色のアルゴリズム設計においてユーザーのフィードバックを組み込む必要性が浮き彫りになった。
• テンプレートの整合性手法はトーンと色の割合をよりよくマッチングするが、テンプレートの移動手法は元の色をより効果的に保存する。
• 特に主要な色のテーマを効果的にマッチングする点で、先行研究を上回る視覚的品質を実現した。
• 特定の色分布に対しては5次元凸包計算が性能ボトルネックとして顕在したため、最適化の余地があると示唆された。