[논문 리뷰] Fast Single Image Reflection Suppression via Convex Optimization

Yang Yang, Wenye Ma외 3명|arXiv (Cornell University)|2019. 03. 10.

Image Enhancement Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 기울기 임계값 처리와 2차원 푸아송 유사 방정식의 이산余弦변환(DCT) 기반 해법을 사용한 빠르고 볼록 최적화 기반의 단일 이미지 반사 suppression 방법을 제안한다. 1080×1440 스마트폰 이미지를 1.2초 이내로 처리하는 실시간 성능을 달성하면서도 경쟁적인 반사 제거 품질을 유지하며, 이전의 비볼록 및 계산 비용이 큰 접근 방식보다 속도와 세부 정보 유지 측면에서 뛰어나다.

ABSTRACT

Removing undesired reflections from images taken through the glass is of great importance in computer vision. It serves as a means to enhance the image quality for aesthetic purposes as well as to preprocess images in machine learning and pattern recognition applications. We propose a convex model to suppress the reflection from a single input image. Our model implies a partial differential equation with gradient thresholding, which is solved efficiently using Discrete Cosine Transform. Extensive experiments on synthetic and real-world images demonstrate that our approach achieves desirable reflection suppression results and dramatically reduces the execution time.

연구 동기 및 목표

• 유리로 찬 단일 이미지에서 반사를 효율적으로 억제하는 문제를 해결하기 위해, 특히 이동식 기기에서 실시간 사용을 위한 방법을 개발하는 것.
• 많은 반복을 필요로 하고 계산 비용이 높은 기존의 비볼록 모델의 한계를 극복하는 것.
• 강한 및 날카로운 반사를 효과적으로 억제하면서도 전달층의 세부 정보를 유지하는 것. 이는 이전 방법에서 어두운 또는 흐린 출력이 자주 발생하는 원인이다.
• 크고 실제적인 이미지에 대해 빠르고 안정적이며 확장 가능한 반사 제거를 가능하게 하는 볼록 최적화 프레임워크를 개발하는 것.

제안 방법

• 라플라시안 기반의 데이터 적합성 항과 기울기 희박성 사전을 포함한 볼록 최적화 문제로 반사 제거를 수식화한다.
• 기울기 임계값 처리를 통한 편미분방정식을 사용하여 반사 제거 과정을 모델링한다.
• 이산余弦변환(DCT)을 활용해 효율적으로 변분 문제를 해결함으로써 빠른 계산을 가능하게 한다.
• h로 제어되는 매개변수화된 임계값 처리 방식을 도입하여 반사 억제와 세부 정보 유지 간의 균형을 조절한다.
• DCT 기반의 빠른 해법을 사용하여 수정된 2차원 푸아송 방정식을 풀어 반사 제거 이미지를 재구성한다.
• 실시간으로 억제 강도를 조절할 수 있는 사용자 제어 슬라이더 인터페이스를 도입함(예시는 MATLAB에서 구현됨).

실험 결과

연구 질문

• RQ1 비반복적 비볼록 해법에 의존하지 않고도, 볼록 최적화 프레임워크가 단일 이미지 반사 제거를 신속하고 효과적으로 수행할 수 있는가?
• RQ2 최신의 비볼록 및 다중 이미지 접근 방식과 비교해 본다면, 제안된 방법은 속도와 품질 측면에서 어떻게 비교되는가?
• RQ3 강한 및 날카로운 반사를 억제하면서도 전달층의 세부 정보를 얼마나 잘 유지할 수 있는가?
• RQ4 1080×1440과 같은 대규모 실제 스마트폰 이미지에 대해 실시간 처리를 위한 효율적인 확장이 가능한가?

주요 결과

• 제안된 방법은 1080×1440 이미지를 1.15초 내로 처리하며, 이는 이전 방법들보다 실행 시간 측면에서 뚜렷한 우수성을 보였다. 예를 들어, 동일한 이미지 크기에서 Arvanitopoulos 등 [2]의 경우 185.82초가 소요되었다.
• 크기가 512×512인 합성 이미지에서, 본 방법은 PSNR 20.99와 SSIM 0.903을 기록하여 [12], [19], [2]와 비교해 두 지표 모두에서 뛰어난 성능을 보였다.
• 특히 미세한 질감과 에지가 있는 영역에서 [12]와 [2]보다 더 많은 전달층 세부 정보를 유지하고 있으며, 확대된 비교 그림을 통해 이를 확인할 수 있었다.
• 반사 강도를 제어하는 매개변수 w에 관계없이 고성능 결과를 유지함으로써, 다양한 입력 조건에서도 안정성을 입증하였다.
• 반사 가장자리가 실제 장면의 가장자리만큼 날카롭고 강할 경우(예: 형광등), 가장자리 식별이 어려워지는 경우 실패가 발생함을 확인하였으며, 이는 극단적인 조건에서의 가장자리 구분 능력에 한계가 있음을 시사한다.