[논문 리뷰] Single Image Reflection Removal through Cascaded Refinement

Chao Li, Yixiao Yang외 3명|arXiv (Cornell University)|2019. 11. 15.

Image Enhancement Techniques참고 문헌 35인용 수 7

한 줄 요약

이 논문은 전달층과 반사층의 반복적이고 계단식으로 개선하는 방식으로 단일 이미지의 반사 제거를 위한 반복적 부스팅 컨volutional LSTM 네트워크(이하 IBCLN)를 제안한다. LSTMs를 사용해 기울기 소실 문제를 완화하고 잔차 재구성 손실을 도입해 훈련을 향상시킨다. 제안된 방법은 실제 환경 기준 평가에서 기존 방법들을 능가하는 최신 기술 성능을 달성하며, 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보인다.

ABSTRACT

We address the problem of removing undesirable reflections from a single image captured through a glass surface, which is an ill-posed, challenging but practically important problem for photo enhancement. Inspired by iterative structure reduction for hidden community detection in social networks, we propose an Iterative Boost Convolutional LSTM Network (IBCLN) that enables cascaded prediction for reflection removal. IBCLN is a cascaded network that iteratively refines the estimates of transmission and reflection layers in a manner that they can boost the prediction quality to each other, and information across steps of the cascade is transferred using an LSTM. The intuition is that the transmission is the strong, dominant structure while the reflection is the weak, hidden structure. They are complementary to each other in a single image and thus a better estimate and reduction on one side from the original image leads to a more accurate estimate on the other side. To facilitate training over multiple cascade steps, we employ LSTM to address the vanishing gradient problem, and propose residual reconstruction loss as further training guidance. Besides, we create a dataset of real-world images with reflection and ground-truth transmission layers to mitigate the problem of insufficient data. Comprehensive experiments demonstrate that the proposed method can effectively remove reflections in real and synthetic images compared with state-of-the-art reflection removal methods.

연구 동기 및 목표

• 반사로 인해 이미지 품질이 떨어지는 실세계 환경에서 단일 이미지 반사 제거라는 도전적이고 정의가 불명확한 문제를 해결한다.
• 수작업으로 설정한 사전 지식이나 다중 이미지에 의존하는 기존 방법의 한계를 극복하기 위해 데이터 기반의 단일 이미지 솔루션을 제안한다.
• 전달층과 반사층의 상호보완적 성질을 활용해 반복적이고 계단식으로 개선하는 방식으로 성능을 향상시킨다.
• 깊이 있는 계단식 네트워크에서 훈련의 어려움을 줄이기 위해 LSTMs를 활용해 장거리 의존성을 유지하고 기울기 소실을 방지한다.
• 향후 연구를 지원하기 위해 정밀하게 레이블링된 전달층을 포함한 새로운 대규모 실세계 데이터셋을 제공한다.

제안 방법

• 전달층과 반사층 예측을 다중 시간 단계에 걸쳐 반복적으로 개선하는 계단식 신경망 아키텍처를 설계한다.
• 모든 계단 단계에서 정보를 유지하고 전파하기 위해 공유된 컨volutional LSTM 모듈을 활용해 기울기 흐름과 안정적인 훈련을 가능하게 한다.
• 이미지 재구성 과정과 닫힌 순환 구조를 형성하는 잔차 재구성 손실을 도입해 각 개선 단계에서의 감독을 향상시킨다.
• 다중 척도의 지각 손실을 적대적 손실 및 잔차 재구성 손실과 융합해 구조적 및 지각적 정밀도를 향상시킨다.
• 정확한 층 분해를 유도하기 위해 정점 전달층과 반사층의 지표를 기반으로 반사 영향을 받은 이미지를 생성하는 선형 이미지 재구성 모델을 사용한다.
• 픽셀 단위 손실, 지각 손실, 적대적 손실, 잔차 재구성 손실의 조합을 사용해 훈련을 유도함으로써 정확한 층 분해를 달성한다.

실험 결과

연구 질문

• RQ1 단일 단계 네트워크를 초월해 전달층과 반사층의 반복적이고 계단식으로 개선하는 방식이 단일 이미지 반사 제거 성능을 향상시킬 수 있는가?
• RQ2 반사 제거를 위한 깊이 있는 계단식 네트워크에서 LSTMs를 사용해 훈련을 안정화시키는 데 얼마나 효과적인가?
• RQ3 잔차 재구성 손실을 통합할 경우 반사 및 전달층 추정의 정확도가 얼마나 향상되는가?
• RQ4 실세계에서 다양하고 도전적인 테스트 세트에서 제안된 방법은 최신 기술 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 정밀하게 레이블링된 지표를 포함한 새로 수집한 실세계 데이터셋이 반사 제거 모델의 일반화 능력 향상과 기준 평가에 기여할 수 있는가?

주요 결과

• 제안된 실세계 데이터셋에서 IBCLN은 최고의 PSNR(24.20)와 SSIM(0.884)를 기록하며 모든 기준 방법들을 능가한다.
• $SIR^{2}$ 데이터셋에서 IBCLN은 PSNR 23.57과 SSIM 0.783을 기록하며 비교된 모든 방법들 중 1위를 차지한다.
• 절단 실험 결과, 잔차 손실, 적대적 손실, 다중 척도 지각 손실 중 어느 하나라도 제거할 경우 성능이 크게 떨어진다.
• 모델은 약 3개의 시간 단계 내에서 수렴하며, 이 이상의 단계를 늘려도 성능 향상이 없고 오히려 열화될 수 있다.
• 시각적 비교 결과 IBCLN은 과도하게 매끄럽게 만드는 것이나 부족하게 제거하는 것보다 효과적으로 반사를 제거하며, 이는 과도하거나 부족한 제거를 하는 방법들보다 뛰어난 성능을 보여준다.
• 정밀하게 레이블링된 지표를 포함한 제안된 실세계 데이터셋은 향후 연구를 위한 유의미한 기준이 되며, 분야 내에서 이와 같은 데이터의 부족 문제를 해결한다.