[논문 리뷰] Automatic Photo Adjustment Using Deep Neural Networks

Zhicheng Yan, Hao Zhang외 3명|arXiv (Cornell University)|2014. 12. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 이미지 예시에서 복잡하고 공간적으로 변하는 색상 및 톤 변환을 학습하는 딥러닝 기반의 자동 사진 보정 방법을 제안한다. 픽셀 수준, 맥락적, 전역적 특징을 딥 네ural 네트워크와 결합함으로써, 의미 인식 기반의 향상 효과를 달성하였으며, 특히 콘텐츠에 따라 조정되는 특성을 모델링하는 데 있어 기존 방법보다 정성적 및 정량적으로 뛰어난 성능을 보였다.

ABSTRACT

Photo retouching enables photographers to invoke dramatic visual impressions by artistically enhancing their photos through stylistic color and tone adjustments. However, it is also a time-consuming and challenging task that requires advanced skills beyond the abilities of casual photographers. Using an automated algorithm is an appealing alternative to manual work but such an algorithm faces many hurdles. Many photographic styles rely on subtle adjustments that depend on the image content and even its semantics. Further, these adjustments are often spatially varying. Because of these characteristics, existing automatic algorithms are still limited and cover only a subset of these challenges. Recently, deep machine learning has shown unique abilities to address hard problems that resisted machine algorithms for long. This motivated us to explore the use of deep learning in the context of photo editing. In this paper, we explain how to formulate the automatic photo adjustment problem in a way suitable for this approach. We also introduce an image descriptor that accounts for the local semantics of an image. Our experiments demonstrate that our deep learning formulation applied using these descriptors successfully capture sophisticated photographic styles. In particular and unlike previous techniques, it can model local adjustments that depend on the image semantics. We show on several examples that this yields results that are qualitatively and quantitatively better than previous work.

연구 동기 및 목표

• 기존에 전문가의 수작업이 필요로 하며, 복잡하고 비선형적이며 공간적으로 변하는 조정으로 인해 모델링이 어려운 예술적 사진 보정 자동화의 과제를 해결하기 위해.
• 이미지 콘텐츠(예: 사람, 물체, 풍경 등)에 따라 조정이 달라지는 의미 인식 기반의 자동 사진 보정을 구현하기 위해.
• 대규모 고차원 데이터를 활용해 입력 이미지와 향상된 이미지 사이의 매우 비선형적 맵핑을 모델링할 수 있는 확장 가능한 딥러닝 프레임워크를 개발하기 위해.
• 기존 자동 보정 기법을 향상시키기 위해, 예술적 스타일을 반영한 이미지 쌍(원본/향상된 이미지)으로부터 학습하여 미세한, 인지적으로 영향을 받는 조정을 학습하기 위해.
• 풍부한 다단계 특징 기술자와 함께 딥 네럴 네트워크를 활용하여 정성적 및 정량적 평가에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 딥 네럴 네트워크(DNN)를 사용하여 입력 이미지에서 향상된 이미지로의 비선형 맵핑을 학습하는 회귀 문제로 자동 사진 보정을 수식화한다.
• 각 픽셀에 대한 다단계 특징 기술자 설계: 국소 픽셀 통계, 의미 분할(장면 해석 및 물체 검출)에서 유도된 맥락적 특징, 전역 이미지 통계.
• 결합된 특징 기술자를 딥 퍼블리크 연결 신경망의 입력으로 사용하여 공간적으로 변하는 색상 및 톤 조정을 예측한다.
• 예측된 결과와 진짜 향상된 이미지 간의 L2 손실을 최소화하기 위해 이미지 쌍(원본 및 향상된 이미지)으로 DNN를 엔드 투 엔드로 훈련시킨다.
• 딥러닝의 보편 근사 능력을 활용하여 기존 방법으로는 포착하기 어려운, 매우 복잡하고 비선형적이며 콘텐츠에 의존하는 조정을 모델링한다.
• 장면 해석 및 물체 검출을 통합하여 맥락적 기술자를 생성함으로써, 모델이 의미 영역(예: 하늘보다 사람을 더 강조 조정)에 따라 조정을 적응시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크는 이미지 예시에서 복잡하고 공간적으로 변하는 사진 보정 스타일을 효과적으로 학습할 수 있는가?
• RQ2 딥러닝 모델은 의미 인식을 통합하여 이미지 영역의 콘텐츠에 따라 다른 조정을 적용할 수 있는가?
• RQ3 국소, 맥락적, 전역 특징을 포함한 다단계 특징 기술자가 간단한 특징 표현 방식보다 자동 사진 보정 품질을 향상시키는가?
• RQ4 제안된 방법은 이전 자동 보정 기법보다 더 나은 시각적 결과를 낼 수 있는가, 특히 미세한 예술적 조정을 포착하는 데서?
• RQ5 사용자 연구에서 수동 보정 및 이전 자동화된 방법과 비교해 모델의 성능은 어떠한가?

주요 결과

• 사용자 연구에서 제안된 방법은 기존 작업을 크게 능가했으며, 대응 t-검정 결과 p-값이 약 10^-10로 나타나, 인식된 품질과 진짜 이미지 유사도에서 통계적으로 유의미한 차이를 보였다.
• 모델은 사람 영역을 배경보다 더 강조하는 등 복잡하고 의미 인식 기반의 조정을 성공적으로 포착하여, 콘텐츠에 따라 조정되는 향상 기능을 모델링할 수 있음을 보여주었다.
• 정량적 평가에서 MIT-Adobe FiveK 데이터셋에서 L2 거리가 17.40로 낮아 평균적으로 강건함을 보였으며, 실패 케이스의 38.63과 비교해도 우수한 성능을 보였다.
• 사용자 투표 결과, 제안된 방법으로 향상된 이미지는 [Hwang et al. (2012)]의 결과보다 일관되게 더 높은 평가를 받았으며, 이는 더 뛰어난 인지적 품질을 의미한다.
• 크로스 프로세싱 및 포커스 강조 효과 등 다양한 예술적 효과에 대해 강력한 일반화 성능을 보였으며, 전문 사진작가가 찍은 결과와 시각적으로 구분되지 않았다.
• 의미 분석이 정확하지 않은 경우(예: '바다'를 '산'으로 잘못 레이블링), 실패 케이스가 관찰되어 성능이 정확한 장면 이해에 의존함을 시사했다.