[논문 리뷰] Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software

Satoshi Kosugi, Toshihiko Yamasaki|arXiv (Cornell University)|2019. 12. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 9

한 줄 요약

이 논문은 전문 이미지 편집 소프트웨어(예: Adobe Photoshop)를 사용하여 비쌍체 이미지 향상 기능을 수행하는 강화학습(RL) 기반 프레임워크를 제안한다. 이 방법은 잡음과 왜곡을 최소화하고 고해상도, 해석 가능한 편집을 가능하게 하며, 미분 가능한 신경망에 의존하지 않는다. 생성자 모델을 RL 에이전트로 간주하여 소프트웨어의 설정 파라미터를 선택함으로써, 딥러닝 기반의 기존 방법에 비해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper tackles unpaired image enhancement, a task of learning a mapping function which transforms input images into enhanced images in the absence of input-output image pairs. Our method is based on generative adversarial networks (GANs), but instead of simply generating images with a neural network, we enhance images utilizing image editing software such as Adobe Photoshop for the following three benefits: enhanced images have no artifacts, the same enhancement can be applied to larger images, and the enhancement is interpretable. To incorporate image editing software into a GAN, we propose a reinforcement learning framework where the generator works as the agent that selects the software's parameters and is rewarded when it fools the discriminator. Our framework can use high-quality non-differentiable filters present in image editing software, which enables image enhancement with high performance. We apply the proposed method to two unpaired image enhancement tasks: photo enhancement and face beautification. Our experimental results demonstrate that the proposed method achieves better performance, compared to the performances of the state-of-the-art methods based on unpaired learning.

연구 동기 및 목표

• CNN 기반 비쌍체 이미지 향상 기법의 한계인 잡음, 저해상도, 해석 불가능성 문제를 해결하기 위해.
• 백프로파게이션을 통한 학습이 불가능한 전문적이고 비가역적인 이미지 편집 필터를 사용하여 고품질의 이미지 향상 기능을 구현하기 위해.
• 실제 이미지 편집 소프트웨어를 GAN 기반 향상 파이프라인에 통합하는 학습 프레임워크를 개발하기 위해.
• 특히 사진 향상 및 얼굴 미화 분야에서 스케일러블하고 해석 가능하며 고정밀도의 비쌍체 이미지 향상 기능을 달성하기 위해.
• RL로 제어되는 소프트웨어 편집 기능이 양적·정성적 평가 모두에서 종래의 엔드 투 엔드 딥러닝 방법보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 생성자는 Adobe Photoshop의 Face-Aware Liquify와 같은 소프트웨어의 이미지 편집 필터 설정 파라미터를 선택하는 RL 에이전트로 작동한다.
• 판별자는 향상된 이미지를 평가하고, 생성자가 판별자를 속일 수 있는 능력에 따라 보상 신호를 생성자에게 제공한다.
• 프레임워크는 정책 네트워크를 사용하여 필터 파라미터를 출력하며, 판별자의 진짜성 신뢰도를 최대화하도록 강화학습을 통해 학습된다.
• 이미지 편집 필터는 비가역적이지만 고품질이므로, 잡음 없는 향상과 척도 불변 처리가 가능하다.
• 이 방법은 두 가지 작업에 적용된다: Cityscapes 데이터셋을 사용한 사진 향상 및 SCUT-FBP5500 데이터셋을 사용한 얼굴 미화.
• 학습 과정에서는 배경 영역을 마스킹하고, 관절점 검출을 통해 얼굴를 정렬하여 얼굴 구조에 집중한다.

실험 결과

연구 질문

• RQ1 비가역적이고 전문적인 이미지 편집 소프트웨어를 제어하기 위해 강화학습을 효과적으로 활용할 수 있는가?
• RQ2 Photoshop과 같은 소프트웨어에서 제공하는 고정밀도 비가역적 필터를 사용할 경우, 엔드 투 엔드 CNN 기반 방법보다 더 나은 이미지 품질을 달성할 수 있는가?
• RQ3 RL로 제어되는 편집 프레임워크는 비쌍체 환경에서 고해상도, 잡음 없는, 해석 가능한 이미지 향상 기능을 달성할 수 있는가?
• RQ4 RL-소프트웨어 하이브리드 방법의 성능은 CycleGAN 및 ResGAN과 같은 최신 기술 수준의 비쌍체 이미지 간 번역 모델보다 어떻게 비교되는가?
• RQ5 사용자는 제안된 방법이 생성한 향상 결과를 얼마나 잘 인지하고, 종래의 방법보다 선호하는가?

주요 결과

• 제안된 방법은 사진 향상에서 평균 사용자 평점 4.5/5, 얼굴 미화에서 4.6/5를 기록하여 기존 방법보다 뛰어난 정성적 품질을 보였다.
• 정성적 결과 분석에서 제안된 방법은 자연스럽고 잡음 없는 향상 결과를 생성한 반면, CycleGAN 및 ResGAN은 눈과 얼굴 윤곽 주변에 뚜렷한 잡음을 생성하였다.
• 이 방법은 동일한 향상 파이프라인을 고해상도 이미지(예: 2000px 이상)에 적용하여 성공적으로 적용하였으며, Photoshop의 벡터 기반 필터 사용 덕분에 척도 불변성 특성을 입증하였다.
• RL 에이전트는 눈 크기, 코 너비, 턱 윤곽 등의 기하학적 얼굴 특징을 자연스럽게 조정하여 매력을 높였지만, 얼굴 정체성을 왜곡하지 않았다.
• 사용자 연구 결과, 제안된 방법은 자연스러움과 종합적인 선호도 측면에서 모든 기준 방법보다 뛰어난 성능을 보였다.
• 프레임워크는 사용자가 향상 과정에서 사용된 필터 파라미터를 이해하고 수동 조정할 수 있도록 해석 가능한 편집을 가능하게 하였다.