[논문 리뷰] Exposure: A White-Box Photo Post-Processing Framework

Yuanming Hu, Hao He외 3명|arXiv (Cornell University)|2017. 09. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 48인용 수 53

한 줄 요약

이 논문은 쌍이 없는 데이터를 기반으로 학습하는 화이트박스 엔드-투-엔드 사진 후처리 시스템 Exposure를 제시하며, 보정된 이미지와 인간이 이해할 수 있는 일련의 편집 순서를 모두 제공합니다.

ABSTRACT

Retouching can significantly elevate the visual appeal of photos, but many casual photographers lack the expertise to do this well. To address this problem, previous works have proposed automatic retouching systems based on supervised learning from paired training images acquired before and after manual editing. As it is difficult for users to acquire paired images that reflect their retouching preferences, we present in this paper a deep learning approach that is instead trained on unpaired data, namely a set of photographs that exhibits a retouching style the user likes, which is much easier to collect. Our system is formulated using deep convolutional neural networks that learn to apply different retouching operations on an input image. Network training with respect to various types of edits is enabled by modeling these retouching operations in a unified manner as resolution-independent differentiable filters. To apply the filters in a proper sequence and with suitable parameters, we employ a deep reinforcement learning approach that learns to make decisions on what action to take next, given the current state of the image. In contrast to many deep learning systems, ours provides users with an understandable solution in the form of conventional retouching edits, rather than just a "black-box" result. Through quantitative comparisons and user studies, we show that this technique generates retouching results consistent with the provided photo set.

연구 동기 및 목표

• 쌍이 없는 사진 모음에서 사용자 스타일을 반영한 보정 데이터를 수집하기 어려움을 해결하기 위해 학습한다.
• 다중 편집을 일련의 미분 가능한 필터로 적용하는 엔드-투-엔드 후처리 모델을 제공한다.
• 블랙박스 결과가 아닌 의미 있는 작동 순서를 출력하여 투명성을 제공한다.
• 해상도에 구애받지 않는 필터를 통해 고해상도 이미지와의 호환성을 보장한다.
• GAN 기반 스타일 모델과 강화학습을 통해 개인적 보정 취향의 학습을 가능하게 한다.

제안 방법

• 보정 작업을 중간 이미지로 상태를 두고, 액션을 미분 가능한 필터로 하는 순차적 의사결정 과정으로 설정한다.
• 에상 고해상도 RAW 데이터에 적용할 수 있는 해상도 독립적 미분 가능한 필터로 편집을 모델링한다.
• 선택된 필터의 이산적 선택과 선택된 필터의 연속 매개변수 조정을 위한 이중 정책 네트워크를 사용한다.
• 판별자 기반의 이미지 품질 보상을 받는 GAN의 정책 경사(액터-크리틱)로 학습한다.
• 쌍 데이터 없이도 목표 사진 모음에 맞추려는 생성 편집과의 정렬을 위해 Wasserstein GAN을 도입한다.
• gradient 기반 학습이 가능하도록 컬러 커브를 미분 가능하고 조각-선형(piecewise-linear)으로 표현한다.

실험 결과

연구 질문

• RQ1 쌍이 없는 사진 모음으로도 이미지 쌍 없이 사용자의 보정 스타일을 학습할 수 있는가?
• RQ2 연속적이고 인간이 이해할 수 있는 미분 가능 필터의 시퀀스가 전문 보정 스타일을 모방할 수 있는가?
• RQ3 강화학습과 GAN 판별기를 결합하면 RAW 입력에서 고품질의 스타일 일관적 편집을 제공할 수 있는가?
• RQ4 결과 편집 시퀀스가 해상도 높은 이미지로 확장되더라도 사용자에게 해석 가능하고 되돌릴 수 있는가?

주요 결과

• 시스템은 페어링 데이터 없이도 목표 사진 모음과 일치하는 방식으로 RAW 이미지를 보정하는 것을 학습한다.
• 편집은 블랙박스가 아닌 일반적이고 이해 가능한 일련의 연산으로 출력된다.
• 프레임워크는 고해상도 이미지(RAW에서 디스플레이 가능 출력 등)에 적용 가능한 해상도 독립적 필터 시퀀스를 출력한다.
• 사용자 연구와 정량적 비교를 통해 보정 결과가 제공된 사진 모음의 선호 스타일과 일치함을 보인다.
• 미분 가능 필터, 강화학습, GAN을 결합한 엔드-투-엔드 모델이 이미지 쌍 없이도 그럴듯한 스타일 전이를 달성한다.