[논문 리뷰] M2-Net: Multi-stages Specular Highlight Detection and Removal in Multi-scenes

Zhaoyangfan Huang, Kun Hu외 1명|arXiv (Cornell University)|2022. 07. 20.

Image Enhancement Techniques인용 수 9

한 줄 요약

이 논문은 합성, 얼굴, 텍스트, 자연 이미지 전반에서 최고 성능을 달성하는 다단계, 다장면 반사광 검출 및 제거 프레임워크인 M²-Net을 제안한다. 이는 두 단계인 코arse 및 리파인에서 강조점 특징 추출기(HFE)와 맥락적 강조점 주의 메커니즘(CHA)을 사용한다. 이 방법은 시각적 품질과 정량적 성능에서 뛰어난 성능을 발휘하며, 영상 시퀀스에 대한 딥러닝 기반 강조점 제거의 첫 응용을 실현한다.

ABSTRACT

In this paper, we propose a novel uniformity framework for highlight detection and removal in multi-scenes, including synthetic images, face images, natural images, and text images. The framework consists of three main components, highlight feature extractor module, highlight coarse removal module, and highlight refine removal module. Firstly, the highlight feature extractor module can directly separate the highlight feature and non-highlight feature from the original highlight image. Then highlight removal image is obtained using a coarse highlight removal network. To further improve the highlight removal effect, the refined highlight removal image is finally obtained using refine highlight removal module based on contextual highlight attention mechanisms. Extensive experimental results in multiple scenes indicate that the proposed framework can obtain excellent visual effects of highlight removal and achieve state-of-the-art results in several quantitative evaluation metrics. Our algorithm is applied for the first time in video highlight removal with promising results.

연구 동기 및 목표

• 기존 강조점 제거 방법이 장면에 특화되어 있고 단일 단계라는 한계를 해결하기 위해.
• 합성, 얼굴, 텍스트, 자연 이미지 등 다양한 장면의 반사광을 통합적으로 처리할 수 있는 프레임워크를 개발하기 위해.
• 맥락적 주의 메커니즘을 통한 이중 단계 정밀화 과정을 통해 강조점 제거 품질을 향상시키기 위해.
• 시간적 일관성이 중요한 영상 데이터셋에 대해 딥러닝 기반 강조점 제거의 첫 응용을 가능하게 하기 위해.

제안 방법

• 강조점 특징 추출기(HFE) 모듈은 다중 스케일 특징을 사용하여 밝기 변화 기반으로 강조점 영역을 검출한다.
• 코어스 강조점 제거 모듈은 게이트드 및 확장된 컨볼루션을 활용하여 입력 이미지에서 두드러진 강조점을 제거한다.
• 리파인 강조점 제거 모듈은 강조점과 배경 특징을 융합하는 맥락적 강조점 주의(CHA) 메커니즘을 적용하여 더 나은 텍스처 일관성을 확보한다.
• CHA 메커니즘은 전역 및 국소 주의(BA 및 HA)를 조합하여 복원 영역의 구조적 정확성과 색상 유지도를 보존한다.
• 시각적 품질과 구조적 유사도를 동시에 최적화하기 위해 인지적 손실과 재구성 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 영상에 적용하기 위해 각 프레임을 별도로 처리하며, 시간적 일관성에 대한 뛰어난 내구성을 입증한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 프레임워크가 다양한 장면에서 최고 성능의 반사광 제거를 달성할 수 있는가?
• RQ2 코어스 + 리파인의 다단계 아키텍처가 단일 단계 방법에 비해 강조점 제거 품질을 어떻게 향상시키는가?
• RQ3 맥락적 강조점 주의(CHA) 메커니즘이 제거 영역의 텍스처 및 색상 일관성에 얼마나 기여하는가?
• RQ4 제안된 방법은 시간적 일관성이 핵심인 영상 강조점 제거에 일반화될 수 있는가?
• RQ5 포화되거나 매우 큰 강조점 영역을 처리할 때 이 방법의 한계는 무엇인가?

주요 결과

• SHIQ 데이터셋에서 M²-Net은 PSNR 35.72와 SSIM 0.91을 기록하여 두 번째로 우수한 방법보다 PSNR 1.94점, SSIM 0.02점 높게 성과를 냈다.
• SD1 데이터셋에서 메서드는 PSNR 33.44와 SSIM 0.92를 달성하여 베이스라인 및 DenseUnet을 크게 앞서갔다.
• 절단 실험 결과 HFE 모듈과 CHA 메커니즘이 모두 필수적임을 확인했으며, SHIQ에서 HFE는 베이스라인 대비 PSNR를 4.64점 향상시켰다.
• BA 및 HA 구성 요소를 모두 포함한 CHA 모듈이 가장 우수한 성능을 내며, 색상 왜곡을 감소시키고 큰 영역의 채움 일관성을 향상시켰다.
• 1920×1080 해상도의 영상 시퀀스에서 강조점을 성공적으로 제거했으며, 최소한의 아티팩트와 일관된 외관을 유지했다.
• 한계로는 포화된 강조점과 대규모 영역 처리에서 성능이 열 劣하며, 이 경우 모델이 텍스처를 복원하지 못하고 자연스럽지 않은 패치를 생성한다.