[논문 리뷰] Photo Filter Recommendation by Category-Aware Aesthetic Learning

Wei-Tse Sun, Ting-Hsuan Chao외 2명|arXiv (Cornell University)|2016. 08. 18.

Visual Attention and Saliency Detection참고 문헌 26인용 수 7

한 줄 요약

이 논문은 사용자 선호도를 기반으로 사진 필터를 추천하기 위해 다중 컬럼 CNN와 쌍별 손실 함수를 사용하는 카테고리 인식 미적 학습 프레임워크를 제안한다. 새로 제작한 컨소시엄 기반 데이터셋(FACD, 42,240개의 필터링된 이미지 쌍 포함)을 활용하여 기존의 미적 분류 방법에 비해 필터 추천 정확도에서 12%의 상대적 향상을 달성한다.

ABSTRACT

Nowadays, social media has become a popular platform for the public to share photos. To make photos more visually appealing, users usually apply filters on their photos without domain knowledge. However, due to the growing number of filter types, it becomes a major issue for users to choose the best filter type. For this purpose, filter recommendation for photo aesthetics takes an important role in image quality ranking problems. In these years, several works have declared that Convolutional Neural Networks (CNNs) outperform traditional methods in image aesthetic categorization, which classifies images into high or low quality. Most of them do not consider the effect on filtered images; hence, we propose a novel image aesthetic learning for filter recommendation. Instead of binarizing image quality, we adjust the state-of-the-art CNN architectures and design a pairwise loss function to learn the embedded aesthetic responses in hidden layers for filtered images. Based on our pilot study, we observe image categories (e.g., portrait, landscape, food) will affect user preference on filter selection. We further integrate category classification into our proposed aesthetic-oriented models. To the best of our knowledge, there is no public dataset for aesthetic judgment with filtered images. We create a new dataset called Filter Aesthetic Comparison Dataset (FACD). It contains 28,160 filtered images based on the AVA dataset and 42,240 reliable image pairs with aesthetic annotations using Amazon Mechanical Turk. It is the first dataset containing filtered images and user preference labels. We conduct experiments on the collected FACD for filter recommendation, and the results show that our proposed category-aware aesthetic learning outperforms aesthetic classification methods (e.g., 12% relative improvement).

연구 동기 및 목표

• 증가하는 필터 옵션 중에서 최적의 사진 필터를 선택하는 데 도전하는 데, 특히 사용자 선호도가 이미지 카테고리에 따라 다름을 고려하여 문제를 해결한다.
• 사람의 선호도를 더 정확히 반영하기 위해, 절대적 품질 점수로 간주하지 않고 쌍별 비교를 통한 방식으로 이미지의 미적 특성을 모델링함으로써 필터 추천을 향상시킨다.
• 더 나은 일반화와 성능을 위해 이미지 카테고리 분류와 함께 미적 반응 학습을 통합한 딥 러닝 프레임워크를 개발한다.
• 42,240개의 필터링된 이미지 쌍과 사용자 선호도 애너테이션을 포함한 새로운 공개 데이터셋 FACD를 제작하고 배포한다.
• 카테고리 인식 미적 학습이 기존의 표준적인 미적 분류 방법보다 필터 추천 작업에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 각 컬럼이 동일한 입력 이미지의 서로 다른 필터링된 버전을 처리하도록 다중 컬럼 CNN 아키텍처를 설계하여 각기 다른 미적 반응을 학습한다.
• 사용자 선호도에 기반한 컨소시엄 기반 비교를 통해 높은 품질의 필터링된 이미지를 낮은 품질의 것보다 높게 순위 매기도록 유도하는 맞춤형 쌍별 손실 함수를 도입한다.
• 이미지 카테고리 분류를 다중 작업 학습 설정에서 보조 과제로 통합하여, 미적 반응 예측의 강건성과 정확도를 향상시킨다.
• 최신 CNN 아키텍처(예: ResNet, VGG)를 미적 순위 매기기 위해 재학습하여 최종 분류층을 쌍별 순위 매기기 헤드로 교체한다.
• FACD 데이터셋을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 각 훈련 샘플은 원본 이미지, 두 개의 필터링된 버전, 그리고 어느 필터가 더 선호되는지를 나타내는 선호도 레이블로 구성된 트리플릿이다.
• 네트워크에서 학습된 미적 점수를 활용해 필터를 순위 매기고, 주어진 입력 이미지에 대해 최상위 점수를 받은 필터를 추천한다.

실험 결과

연구 질문

• RQ1 이미지 카테고리 정보를 통합함으로써 필터 추천 시스템의 성능은 어떻게 향상되는가?
• RQ2 쌍별 비교 기반 학습 방식이 필터 추천 맥락에서 기존의 이미지 미적 분류 방식보다 뛰어나게 작용할 수 있는가?
• RQ3 다양한 필터 유형(예: 고대비, 따뜻한 톤 등)이 이미지 카테고리에 따라 사용자 선호도에 얼마나 큰 영향을 미치는가?
• RQ4 쌍별 미적 비교 데이터셋에서 훈련된 CNN 모델이 새로운 필터링된 이미지에 대해 얼마나 잘 일반화되는가?
• RQ5 필터 전용 시각적 특성(예: 밝기, 채도, 색조 등)이 모델이 사용자 선호도를 예측하는 데 미치는 영향은 무엇인가?

주요 결과

• 제안된 카테고리 인식 미적 학습 방법은 기준 기반의 미적 분류 방법에 비해 필터 추천 성능에서 12%의 상대적 향상을 달성한다.
• 모델는 인간의 선호도와 강한 일치를 보이며, 다양한 이미지 카테고리에서 예측된 필터 분포가 실제 분포와 유사함을 입증한다.
• 고대비와 강한 색상 강조(예: Hefe, Mayfair, XProII)를 가진 필터는 일관되게 선호되며, 모델은 이러한 필터를 더 높게 순위 매기는 데 성공한다.
• 모델는 색조보다 대비에 더 민감한 것으로 나타났으며, 유사한 따뜻한 톤 효과를 가진 Gotham에 비해 XProII가 더 선호됨을 보였다.
• FACD 데이터셋은 필터 추천 시스템의 신뢰할 수 있는 평가를 가능하게 하며, 사용자 선호도가 이미지 카테고리와 필터 유형에 매우 의존함을 드러낸다.
• 단순한 단일 컬럼 CNN조차도 Fisher Vector와 같은 전통적인 수작업 특징 방법보다 AVA 벤치마크에서 약 5% 높은 성능을 보이며, 딥 러닝이 미적 순위 매기기 작업에 효과적임을 확인한다.