[논문 리뷰] Fast and High Quality Highlight Removal from A Single Image

Dongsheng An, Jinli Suo외 3명|arXiv (Cornell University)|2015. 12. 01.

Color Science and Applications참고 문헌 22인용 수 3

한 줄 요약

이 논문은 L₂-정규화된 이색모델과 순수 미세한 반사 성분 분포 규칙(PDDR)을 사용하여 단일 자연 이미지에 대한 빠르고 분석적인 반사광 제거 방법을 제안한다. 조명에 수직이고 평행한 부분공간으로 픽셀을 투영함으로써, 근사치 없이도 강인하고 적응적인 클러스터링과 반사광이 없는 미세한 성분 복원이 가능하여 500×600 픽셀 이미지당 0.02초 이내로 고품질 결과를 달성한다.

ABSTRACT

Specular reflection exists widely in photography and causes the recorded color deviating from its true value, so fast and high quality highlight removal from a single nature image is of great importance. In spite of the progress in the past decades in highlight removal, achieving wide applicability to the large diversity of nature scenes is quite challenging. To handle this problem, we propose an analytic solution to highlight removal based on an L2 chromaticity definition and corresponding dichromatic model. Specifically, this paper derives a normalized dichromatic model for the pixels with identical diffuse color: a unit circle equation of projection coefficients in two subspaces that are orthogonal to and parallel with the illumination, respectively. In the former illumination orthogonal subspace, which is specular-free, we can conduct robust clustering with an explicit criterion to determine the cluster number adaptively. In the latter illumination parallel subspace, a property called pure diffuse pixels distribution rule (PDDR) helps map each specular-influenced pixel to its diffuse component. In terms of efficiency, the proposed approach involves few complex calculation, and thus can remove highlight from high resolution images fast. Experiments show that this method is of superior performance in various challenging cases.

연구 동기 및 목표

• 다양한 장면에 넓이 있게 적용 가능한 단일 자연 이미지에서 반사광을 제거하는 과제를 해결한다.
• 다중 이미지나 편광 하드웨어 또는 복잡한 최적화에 의존하는 이전 방법의 한계를 극복한다.
• 강한 가정이나 근사치 없이도 효율적이고 정확한 방법을 개발한다.
• 복잡한 재료와 다양한 조명 조건이 있는 장면에서도 미세한 성분과 반사광 성분을 강인하게 분리할 수 있도록 한다.
• 품질을 희생시키지 않고 고해상도 이미지에 적합한 실시간 성능을 달성한다.

제안 방법

• 조명에 대해 수직 및 평행한 부분공간을 기반으로 하여, L₂-정규화된 이색모델을 제안하여 픽셀 색상을 미세한 성분과 반사광 성분으로 분해한다.
• 조명에 수직인 부분공간을 사용하여 명확한 클러스터 수 기준을 명시적으로 적용함으로써 강인하고 적응적인 미세한 픽셀 클러스터링을 수행한다.
• 조명에 평행한 부분공간에서 순수 미세한 반사 성분 분포 규칙(PDDR)을 적용하여 반사광에 영향을 받은 픽셀을 진정한 미세한 성분으로 매핑한다.
• 고해상도 이미지에서 처리 속도를 향상시키기 위해 다운샘플링 전략을 도입하면서도 재료 클러스터링 정확도를 유지한다.
• 반복적 또는 최적화 기반 계산을 피하고, 분석적 해법과 효율적인 K-means 클러스터링에 의존한다.
• 색조 기반 투영을 사용하여 안정성을 확보하고 GRAY 또는 화이트 영역에서 에너지 손실을 방지한다.

실험 결과

연구 질문

• RQ1 단일 이미지 반사광 제거 방법이 다중 이미지나 하드웨어 기반 입력에 의존하지 않고도 고품질과 빠른 처리를 동시에 달성할 수 있는가?
• RQ2 강한 가정이나 근사치 없이도 분석적으로 미세한 성분과 반사광 성분을 분리할 수 있는가?
• RQ3 다양한 재료를 가진 자연 장면에서 순수한 미세한 픽셀을 식별할 수 있는 강인하고 적응적인 클러스터링 방법을 설계할 수 있는가?
• RQ4 PDDR 원칙은 반사광 영향을 받는 영역에서의 미세한 성분 복원 정확도를 어느 정도 향상시킬 수 있는가?
• RQ5 이 방법은 고해상도 이미지와 모든 반사광 또는 GRAY 색상 영역과 같은 극단적인 경우에서 어떻게 성능을 발휘하는가?

주요 결과

• 500×600 픽셀 이미지에 대해 반사광 제거가 0.02초 이내로 수행되어 이전 작업의 C++ 기반 방법보다 뛰어난 성능을 보였다.
• 상호 반사, 강한 반사광, 혼합 재료가 있는 어려운 케이스에서도 뛰어난 결과를 도출하였다.
• 자동차나 식물과 같은 실외 장면에서도 미세한 성분과 반사광 성분을 성공적으로 분리하여 광범위한 적용 가능성을 입증하였다.
• 대부분의 자연 장면에서 색상 충실도를 유지하고 잡음 없이 처리되었지만, 순수 반사광 또는 GRAY 영역에서는 에너지 손실가능성이 있었다.
• 완전히 반사광으로 이루어진 장면과 같은 극단적인 경우에서는 여전히 조명 불확실성의 영향을 받아, 이러한 케이스의 본질적 불안정성(ill-posedness)을 확인하였다.
• 다운샘플링 전략 덕분에 고해상도에서 정확도 손실 없이 효율적인 처리가 가능하였다.