[논문 리뷰] Aesthetic-Driven Image Enhancement by Adversarial Learning

Yubin Deng, Chen Change Loy외 1명|arXiv (Cornell University)|2017. 07. 17.

Image Enhancement Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 쌍체의 입력-개선 이미지가 아닌 이진 미적 품질 레이블(좋음/나쁨)만을 사용하는 자동 이미지 개선을 위한 약한 지도 학습 기반 생성 적대 신경망인 EnhanceGAN을 제안한다. 생성자(generator)가 판별자(discriminator)가 이를 고급 품질로 분류하도록 속이도록 훈련시킴으로써, 모델은 종단 간(end-to-end)으로 효과적인 색상 보정 및 자르기 정책을 학습하게 되며, 사용자 연구에서 전문가 편집 수준의 성능을 달성하고 벤치마크 데이터셋에서도 경쟁적인 성능을 보인다.

ABSTRACT

We introduce EnhanceGAN, an adversarial learning based model that performs automatic image enhancement. Traditional image enhancement frameworks typically involve training models in a fully-supervised manner, which require expensive annotations in the form of aligned image pairs. In contrast to these approaches, our proposed EnhanceGAN only requires weak supervision (binary labels on image aesthetic quality) and is able to learn enhancement operators for the task of aesthetic-based image enhancement. In particular, we show the effectiveness of a piecewise color enhancement module trained with weak supervision, and extend the proposed EnhanceGAN framework to learning a deep filtering-based aesthetic enhancer. The full differentiability of our image enhancement operators enables the training of EnhanceGAN in an end-to-end manner. We further demonstrate the capability of EnhanceGAN in learning aesthetic-based image cropping without any groundtruth cropping pairs. Our weakly-supervised EnhanceGAN reports competitive quantitative results on aesthetic-based color enhancement as well as automatic image cropping, and a user study confirms that our image enhancement results are on par with or even preferred over professional enhancement.

연구 동기 및 목표

• 비용이 많이 드는 쌍체 훈련 데이터(예: 입력 이미지와 전문가가 개선한 이미지 쌍)가 필요로 하지 않는 자동 이미지 개선 방법을 개발하는 것.
• 단지 이진 미적 품질 레이블(좋음 또는 나쁨)만을 사용하여 종단 간 이미지 개선 모델을 훈련하는 것.
• 생성 적대 학습에 적합한 완전히 미분 가능한 개선 연산자(조각별 색상 보정 및 딥 필터링)를 설계하는 것.
• 지침 없는 자동 이미지 자르기 정책을 위한 프레임워크를 확장하는 것.
• 정량적 지표와 인간 평가를 통해 모델 성능을 검증하여 전문가 편집 수준에 도달함을 보여주는 것.

제안 방법

• 생성 적대 신경망(GAN) 프레임워크를 사용하며, 생성자는 저미적 품질 이미지를 개선하고, 판별자는 미적 판단에 기반해 이미지를 고품질 또는 저품질로 분류한다.
• 생성자는 두 가지 완전히 미분 가능한 개선 모듈인 조각별 색상 보정기와 딥 필터링 기반 보정기를 사용하여 종단 간 역전파를 가능하게 한다.
• 모델은 약한 지도 학습을 통해 훈련되며, 이미지가 미적으로 좋거나 나쁘다는 이진 레이블만 필요하다.
• 판별자는 대규모 미적 데이터셋(예: Murray et al., 2012; Tang et al., 2013)을 사전 훈련하여 고품질 대비 저품질 이미지를 구분하도록 한다.
• 생성자는 판별자의 '고품질' 예측에 대한 신뢰도를 극대화할 수 있도록 훈련된다.
• 지침 없는 자동 이미지 자르기 정책을 위해 생성자를 최적화하여 최적의 자르기 영역을 예측하도록 하며, 지침 없는 자르기 앤오테이션(annotated crop pairs)이 필요 없다.

실험 결과

연구 질문

• RQ1 입력-개선 이미지 쌍 대신 이진 미적 품질 레이블만을 사용해 이미지 개선을 효과적으로 학습할 수 있는가?
• RQ2 약한 지도 학습 기반 GAN 프레임워크가 전문가 편집 수준의 결과를 낼 수 있는가?
• RQ3 완전히 미분 가능한 개선 연산자(예: 조각별 색상 보정, 딥 필터링)가 생성 적대 학습 환경에서 종단 간 학습에 효과적으로 적용될 수 있는가?
• RQ4 동일한 프레임워크를 지침 없는 자르기 쌍이 없는 자동 이미지 자르기로 확장할 수 있는가?
• RQ5 약한 지도 학습 기반 EnhanceGAN의 성능은 정량적 지표와 인간 평가 모두에서 완전히 지도 학습 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 조각별 색상 보정기와 딥 필터링 기반 보정기는 사용자 연구에서 평균 미적 점수 5.189와 5.289를 기록했으며, 이는 Photoshop-Auto 출력을 초월하고 인간 편집 점수 5.232에 가까워졌다.
• 사용자 연구에서 EnhanceGAN 출력물은 전문가용 Photoshop 출력물보다 더 자주 '최고' 또는 '우수'로 평가되었으며, 일부 이미지에서는 인간 편집 결과를 초월하기도 하였다.
• CUHK Image Cropping Dataset에서 약한 지도 학습 기반 EnhanceGAN은 세 사진작가에 대해 평균 오버랩 비율 0.715(0.701, 0.702)를 기록했으며, 기존의 약한 지도 학습 기반 방법들을 능가했다.
• 세밀 조정(fine-tuning)을 거친 EnhanceGAN은 오버랩 비율 0.828(0.805, 0.798)의 최신 기술 성능을 기록했으며, 완전히 지도 학습 기반 기준선에 가까워졌다.
• 모델은 카테고리 간 일관된 개선 성능를 보였으며, 하늘과 바다 풍경 이미지는 보완 색상 조합으로 향상되었고, 다른 이미지들은 삼각형 또는 분할 보완 색상 조화의 흔적을 보였다.
• 시각적 결과는 빌드 인 비교에서 EnhanceGAN의 개선 결과가 인간 편집 결과와 구분되지 않음을 확인했으며, 테스트 세트의 어떤 이미지도 모델에서 유래된 것으로 명확하게 식별되지 않았다.