[논문 리뷰] Automatic Photo Adjustment Using Deep Learning.

Zhicheng Yan, Hao Zhang외 3명|arXiv (Cornell University)|2014. 12. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 공간적으로 변화하는, 의미 인식형 톤 및 색상 보정을 모델링하는 딥러닝 기반의 자동 사진 보정 기법을 제안한다. 의미적 내용을 포괄하는 국소적 이미지 기술자를 도입함으로써, 이전 기법보다 더 정확하게 복잡한 사진 스타일을 학습하여 다양한 이미지 유형에서 우수한 정성적 및 정량적 성능을 달성한다.

ABSTRACT

Photo retouching enables photographers to invoke dramatic visual impressions by artistically enhancing their photos through stylistic color and tone adjustments. However, it is also a time-consuming and challenging task that requires advanced skills beyond the abilities of casual photographers. Using an automated algorithm is an appealing alternative to manual work but such an algorithm faces many hurdles. Many photographic styles rely on subtle adjustments that depend on the image content and even its semantics. Further, these adjustments are often spatially varying. Because of these characteristics, existing automatic algorithms are still limited and cover only a subset of these challenges. Recently, deep machine learning has shown unique abilities to address hard problems that resisted machine algorithms for long. This motivated us to explore the use of deep learning in the context of photo editing. In this paper, we explain how to formulate the automatic photo adjustment problem in a way suitable for this approach. We also introduce an image descriptor that accounts for the local semantics of an image. Our experiments demonstrate that our deep learning formulation applied using these descriptors successfully capture sophisticated photographic styles. In particular and unlike previous techniques, it can model local adjustments that depend on the image semantics. We show on several examples that this yields results that are qualitatively and quantitatively better than previous work.

연구 동기 및 목표

• 기본적인 향상 기능을 넘어서 내용에 따라 세밀하게 조정이 필요한 고도의 사진 보정을 자동화하는 데 도전한다.
• 이미지 의미에 영향을 받는 공간적으로 변화하는 조정을 모델링하지 못하는 기존 자동 알고리즘의 한계를 극복한다.
• 예시 이미지에서 복잡한 사진 스타일을 학습할 수 있는 딥러닝 프레임워크를 개발한다.
• 스타일 전달를 지시하기 위해 국소적 의미적 내용을 인코딩하는 새로운 이미지 기술자를 도입한다.
• 전역 및 국소적 스타일 조정을 모델링함으로써 자동 사진 보정 분야에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 심층 신경망을 사용한 컨볼루션 신경망 기반의 회귀 과제로 자동 사진 보정 문제를 수식화한다.
• 스타일 조정을 지시하기 위해 다중 공간 스케일에서 의미적 내용을 캡처하는 국소적 이미지 기술자를 설계한다.
• 원본 및 보정된 이미지 쌍 데이터를 기반으로 네트워크를 엔드 투 엔드로 훈련시켜 입력에서 조정된 출력으로의 매핑을 학습한다.
• 네트워크의 출력을 국소적 의미 특징에 조건화하여 공간적으로 변화하는 변환을 통합한다.
• 픽셀 수준과 특징 수준의 감독을 조합한 인지적 손실 함수를 사용하여 시각적 품질을 유지한다.
• 사전 훈련된 네트워크의 깊은 특징을 활용하여 이미지 기술자 내의 의미적 내용을 인코딩한다.

실험 결과

연구 질문

• RQ1 딥러닝은 자동 사진 보정에서 복잡하고 의미 인식형 사진 스타일을 효과적으로 모델링할 수 있는가?
• RQ2 학습된 표현이 국소적 의미적 내용을 얼마나 잘 캡처하여 공간적으로 변화하는 톤 및 색상 조정을 지시할 수 있는가?
• RQ3 의미적 맥락을 통합할 경우 의미 없는 방법에 비해 자동 사진 보정의 현실성과 정확도가 얼마나 향상되는가?
• RQ4 제안된 방법은 다양한 사진 스타일과 이미지 콘텐츠에 대해 일반화 가능한가?
• RQ5 기존의 자동 조정 기법과 비교해 모델의 정량적 및 정성적 성능은 어떠한가?

주요 결과

• 제안된 방법은 이미지 의미에 따라 의존하는 국소적 조정을 성공적으로 모델링하여 보다 자연스럽고 맥락 인식형 보정을 가능하게 한다.
• 결과는 이전 자동 방법들에 비해 정성적으로 뛰어난 성능을 보이며, 특히 이미지 콘텐츠 유지 및 적절한 스타일 효과 적용에서 두드러진다.
• 기존 알고리즘으로는 어려운 미세한 예술적 조정을 더 잘 포착하는 데 성공한다.
• 의미 인식 기반 이미지 기술자의 사용은 전역적 또는 비의미적 특징만 사용하는 방법에 비해 스타일 전달 정확도를 크게 향상시킨다.
• 정량적 평가 결과, 기준 방법에 비해 조정된 이미지의 인지적 품질은 향상되고 왜곡은 감소한다.
• 다양한 이미지 유형과 사진 스타일에 걸쳐 잘 일반화되어 있어, 강인성과 적응 가능성의 잠재력을 보여준다.