[논문 리뷰] Generative Single Image Reflection Separation

Dong‐Hoon Lee, Ming–Hsuan Yang외 1명|arXiv (Cornell University)|2018. 01. 12.

Advanced Image Processing Techniques참고 문헌 21인용 수 11

한 줄 요약

이 논문은 흐림 가정이나 지도 학습 데이터 쌍에 의존하지 않고, 알려진 시점 카테고리들을 활용하여 단일 이미지의 반사 분리를 위한 약한 지도 학습 기반 생성 적대 신경망(GAN) 방법을 제안한다. 제안된 방법은 합성 및 실재 데이터 모두에서 반사 영역을 더 현실적으로 복원하는 데 있어 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Single image reflection separation is an ill-posed problem since two scenes, a transmitted scene and a reflected scene, need to be inferred from a single observation. To make the problem tractable, in this work we assume that categories of two scenes are known. It allows us to address the problem by generating both scenes that belong to the categories while their contents are constrained to match with the observed image. A novel network architecture is proposed to render realistic images of both scenes based on adversarial learning. The network can be trained in a weakly supervised manner, i.e., it learns to separate an observed image without corresponding ground truth images of transmission and reflection scenes which are difficult to collect in practice. Experimental results on real and synthetic datasets demonstrate that the proposed algorithm performs favorably against existing methods.

연구 동기 및 목표

• 단일 이미지 반사 분리 문제의 불안정한 성격을 해결하기 위해 전달 및 반사 시점의 알려진 카테고리를 가정함으로써 문제를 정규화한다.
• 현대 카메라의 깊은 심도를 가진 렌즈를 사용할 경우 성립하지 않는, 반사 영역이 흐릿하다는 비현실적인 가정을 제거한다.
• 전달 및 반사 영역의 진짜 데이터 쌍이 필요 없이, 카테고리 레이블만으로도 학습이 가능하도록 한다.
• 생성적 적대 학습을 통해 전달 및 반사 영역을 동시에 현실적으로 생성함으로써 분리 정확도와 반사 영역의 자연스러움을 향상시킨다.
• 이전 방법이 비균일하거나 보이지 않는 반사 영역으로 인해 실패하는 실세계 이미지에서의 유효성을 입증한다.

제안 방법

• 생성자 모델이 알려진 시점 카테고리를 조건으로 하여 전달 및 반사 영역을 동시에 생성하는 조건부 GAN 아키텍처를 사용한다.
• 전달 및 반사 영역 각각에 대해 판별자 모델을 도입하여 생성된 이미지의 현실성을 보장하는 적대적 학습을 수행한다.
• 전달 및 반사 영역의 진짜 데이터 쌍이 필요 없이, 카테고리 레이블만으로도 약한 지도 학습 방식으로 네트워크를 학습시킨다.
• 관측된 이미지를 픽셀 수준의 선형 혼합이 아닌 특징 수준의 조합으로 모델링함으로써 더 유연하고 현실적인 재구성 가능성을 확보한다.
• 전달 영역 예측에 대한 네트워크의 확신도를 표현하는 신뢰도 맵을 도입하여 결과의 해석 가능성을 향상시킨다.
• 다양한 반사 패tern에 대한 일반화 능력을 향상시키기 위해 무작위로 설정된 합성 파rameter를 활용한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 현대 카메라 환경에서 반사 영역이 흐릿하다는 가정이 성립하지 않을 경우, 이 가정 없이도 단일 이미지 반사 분리를 효과적으로 해결할 수 있는가?
• RQ2 시점 카테고리 레이블만 제공될 때 생성 모델이 얼마나 현실적인 전달 및 반사 영역을 생성할 수 있는가?
• RQ3 진짜 데이터 쌍이 존재하지 않는 실세계 이미지에 대해 제안된 약한 지도 학습 방법이 얼마나 잘 일반화되는가?
• RQ4 전달 영역의 일부가 반사에 의해 가려졌을 때, 네트워크가 두 영역을 의미 있게 복원할 수 있는가?
• RQ5 특히 반사 영역의 자연스러움을 고려할 때, 제안된 모델이 최신 기술 대비 합성 및 실재 데이터에서 얼마나 잘 성능을 내는가?

주요 결과

• 제안된 방법은 합성 및 실재 이미지에서 모두 반사 영역을 더 현실적으로 생성하는 데 있어 기존 최신 기술을 능가하는 성능을 보였다.
• 합성 데이터에서는 진짜 데이터 쌍이 전혀 필요 없이도 반사를 성공적으로 분리하여, 약한 지도 학습 하에서 뛰어난 일반화 능력을 입증했다.
• 실재 이미지에서는 전달 영역이 부분적으로 가려져 있어도 제안된 방법이 자연스럽고 타당한 전달 및 반사 영역을 생성하는 데 성공했으며, 이는 이전 방법이 이러한 영역을 복원하지 못했던 것과 대비된다.
• 신뢰도 맵을 통해 네트워크가 명확한 구조적 정보를 가진 영역에서 가장 확신을 가짐을 확인하였으며, 이는 고정보 영역에서 신뢰할 수 있는 예측을 함을 시사한다.
• 동일한 입력에 대해 다양한 랜덤 시드를 사용할 경우, 네트워크가 서로 다른 여러 가지 타당한 분리 결과를 생성할 수 있음을 확인하여, 관측 조건에 부합하는 다양한 해를 탐색할 수 있음을 보여주었다.
• 합성 데이터에선 뛰어난 성능를 보였지만, 비현실적인 합성 모델을 사용할 경우 실재 이미지에선 여전히 어려움을 겪는다는 점을 통해, 학습 데이터의 현실성은 일반화 능력에 매우 중요하다는 점을 시사한다.