[論文レビュー] Fast and High Quality Highlight Removal from A Single Image

Dongsheng An, Jinli Suo+3 more|arXiv (Cornell University)|Dec 1, 2015

Color Science and Applications参考文献 22被引用数 3

ひとこと要約

本稿では、L²正規化された二色モデルと純粋な拡散画素分布則（PDDR）を用いて、単一の自然画像における高速で解析的なハイライト除去手法を提案する。照明に直交および平行な部分空間に画素を投影することにより、近似を用いず、ロバストで適応的なクラスタリングと鏡面成分のない拡散成分の回復が可能となり、500×600画素の画像に対して0.02秒未塔で高品質な結果が得られる。

ABSTRACT

Specular reflection exists widely in photography and causes the recorded color deviating from its true value, so fast and high quality highlight removal from a single nature image is of great importance. In spite of the progress in the past decades in highlight removal, achieving wide applicability to the large diversity of nature scenes is quite challenging. To handle this problem, we propose an analytic solution to highlight removal based on an L2 chromaticity definition and corresponding dichromatic model. Specifically, this paper derives a normalized dichromatic model for the pixels with identical diffuse color: a unit circle equation of projection coefficients in two subspaces that are orthogonal to and parallel with the illumination, respectively. In the former illumination orthogonal subspace, which is specular-free, we can conduct robust clustering with an explicit criterion to determine the cluster number adaptively. In the latter illumination parallel subspace, a property called pure diffuse pixels distribution rule (PDDR) helps map each specular-influenced pixel to its diffuse component. In terms of efficiency, the proposed approach involves few complex calculation, and thus can remove highlight from high resolution images fast. Experiments show that this method is of superior performance in various challenging cases.

研究の動機と目的

• 広範なシーンに応用可能な、単一の自然画像からの鏡面ハイライト除去の課題に対処すること。
• 複数枚の画像や偏光ハードウェア、複雑な最適化に依存する従来手法の限界を克服すること。
• 強い仮定や近似を避けて、効率的かつ正確な手法を開発すること。
• 複雑な素材や変化する照明条件が存在するシーンでも、拡散成分と鏡面成分のロバストな分離を可能にすること。
• 高解像度画像においても品質を損なわずにリアルタイム性能を達成すること。

提案手法

• 照明に対して直交および平行な部分空間を用いて、画素色を拡散成分と鏡面成分に分解するL²正規化二色モデルを提案する。
• 照明に直交する部分空間を用いて、明確なクラスタ数基準を明示的に用いることで、ロバストで適応的な拡散画素のクラスタリングを実現する。
• 照明に平行な部分空間で純粋な拡散画素分布則（PDDR）を適用し、鏡面成分に影響を受ける画素をその真の拡散成分にマッピングする。
• 高解像度画像の処理を高速化するためにダウンサンプリング戦略を採用し、素材のクラスタリング精度を維持する。
• 反復的または最適化に基づく計算を避け、代わりに解析的解と効率的なK-meansクラスタリングに依存する。
• 彩度に基づく投影を用いることで、グレーまたは白色領域でのエネルギー損失を回避し、安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数枚の画像やハードウェア入力を用いない単一画像ハイライト除去手法は、高品質かつ高速処理を両立できるか？
• RQ2 強い仮定や近似を用いずに、解析的に拡散成分と鏡面成分を分離できるか？
• RQ3 多様な素材を有する自然シーンにおいて、純粋な拡散画素を特定するロバストで適応的なクラスタリング手法を設計できるか？
• RQ4 PDDR原理は、鏡面成分に影響を受ける領域における拡散成分回復の正確さをどの程度向上できるか？
• RQ5 本手法は高解像度画像や、完全に鏡面成分のみの状態やグレー色のシーンといった極端な状況でも、どのように性能を示すか？

主な発見

• 500×600画素の画像に対して、本手法は0.02秒未塔でハイライト除去を実行し、先行研究のC++ベース手法を上回る性能を示した。
• 相互反射や強い鏡面成分、混合素材を有する困難なケースに対しても、優れた結果が得られた。
• 屋外シーン、例えば車や植物などに対しても、拡散成分と鏡面成分の分離に成功し、広範な応用可能性を示した。
• 大部分の自然シーンにおいて色の忠実性を保持し、アーチファクトを回避したが、純粋な鏡面成分またはグレー領域ではエネルギー損失が生じる可能性がある。
• 完全に鏡面成分のみのシーンのような極端な状況では、依然として照明の不確実性の影響を受けることが確認され、このようなケースの本質的な不適切性（ill-posedness）が裏付けられた。
• ダウンサンプリング戦略により、高解像度でも精度の著しい損失なしに効率的な処理が可能となった。