[논문 리뷰] Automatic Assessment of Artistic Quality of Photos

Ashish Verma, Kranthi kumar Reddy Koukuntla외 2명|arXiv (Cornell University)|2018. 04. 17.

Visual Attention and Saliency Detection참고 문헌 19인용 수 3

한 줄 요약

이 논문은 구성, 조명, 색상 배열, 블러, 대비와 같은 저수준, 중수준, 고수준 시각적 특징을 분석하여 사진의 예술적 품질을 평가하는 다층퍼셉트론(MLP) 기반 모델을 제안한다. 이 시스템은 1에서 10까지의 품질 점수를 부여하며, 전문가가 촬영한 사진과 아마추어가 촬영한 사진을 구분하는 데 총 87%의 정확도를 달성했으며, 전문가 사진의 점수는 상당히 높게 나타났다.

ABSTRACT

This paper proposes a technique to assess the aesthetic quality of photographs. The goal of the study is to predict whether a given photograph is captured by professional photographers, or by common people, based on a measurement of artistic quality of the photograph. We propose a Multi-Layer-Perceptron based system to analyze some low, mid and high level image features and find their effectiveness to measure artistic quality of the image and produce a measurement of the artistic quality of the image on a scale of 10. We validate the proposed system on a large dataset, containing images downloaded from the internet. The dataset contains some images captured by professional photographers and the rest of the images captured by common people. The proposed measurement of artistic quality of images provides higher value of photo quality for the images captured by professional photographers, compared to the values provided for the other images.

연구 동기 및 목표

• 사진의 예술적 품질을 바탕으로 전문가가 촬영한 사진인지 아마추어가 촬영한 사진인지 자동으로 예측할 수 있는 시스템을 개발하는 것.
• 예술적 품질과 관련이 있는 핵심 시각적 특징—예를 들어 구성, 조명, 색상 배열, 블러, 대비—를 식별하고 통합하는 것.
• 1에서 10의 척도로 정량적인 예술적 품질 점수를 할당하기 위해 다층퍼셉트론(MLP) 모델을 훈련하는 것.
• 일곱 가지 카테고리에 걸쳐 전문가와 비전문가가 촬영한 다양한 대규모 데이터셋을 기반으로 모델을 검증하는 것.
• 이전 연구를 개선하기 위해 분류 정확도를 높이고, 확장 가능하며 자동화된 사진 품질 평가를 가능하게 하는 것.

제안 방법

• 구성, 조명, 색상 배열, 블러, 대비에 해당하는 저수준, 중수준, 고수준 이미지 특징을 추출하였다.
• 모든 특징을 정규화하여 MLP에 입력함으로써 훈련 중 동일한 기여를 보장하였다.
• 이진 레이블링 기반으로 훈련: 전문가 사진은 고품질(레이블 1), 아마추어 사진은 저품질(레이블 0)로 처리하였다.
• 임계값 기반 분류 전략을 사용하였으며, 최적의 품질 임계값을 도출하기 위해 θ를 2에서 9까지 0.5 간격으로 변화시켰다.
• 일곱 가지 사진 카테고리에서 정확도, ROC 곡선, AUC 점수를 사용하여 성능을 평가하였다.
• 미래 확장으로서, 레이블이 없는 데이터를 활용해 효율성을 향상시키기 위해 준지도 학습을 적용하였다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 예술적 품질을 기반으로 전문가가 촬영한 사진과 아마추어가 촬영한 사진을 효과적으로 구분할 수 있는가?
• RQ2 저수준 및 중수준의 시각적 특징 중에서 사진의 인식된 예술적 품질과 가장 강하게 상관관계가 있는 특징은 무엇인가?
• RQ3 MLP 기반 모델이 이미지에 대해 연속적인 예술적 품질 점수(1~10)를 할당하는 데 얼마나 잘 성능을 내는가?
• RQ4 모델의 출력 점수 기반으로 이미지를 고품질 또는 저품질로 분류하는 데 최적의 임계값은 무엇인가?
• RQ5 모델의 성능은 풍경, 인물, 야경 사진과 같은 다양한 사진 카테고리에서 어떻게 달라지는가?

주요 결과

• 제안된 방법은 테스트 세트에서 총 분류 정확도 87%를 달성하여 이전 연구 대비 6% 향상된 성능을 보였다.
• 모델이 고품질과 저품질 이미지를 가장 잘 구분하는 데는 θ = 4에서 가장 높은 정확도를 기록하였다.
• ROC AUC 점수는 야경 카테고리에서 0.7298에서부터 인물 카테고리에서 0.9013까지 다양하게 나타나, 다양한 카테고리에서 강력한 분류 성능을 보였다.
• 모델는 전문가 사진에 대해 아마추어 사진보다 유의미하게 높은 품질 점수를 할당하였으며, 그 결과는 그림 1과 표 II에서 확인할 수 있었다.
• 거짓 양성과 거짓 음성은 주로 전문가 사진에서 선택적 블러 또는 정교하게 구성된 아마추어 사진과 같은 이상 현상으로 인해 발생하였다.
• 모델는 인물 포트레이트에서 가장 높은 정확도(93%)를 기록했으며, 동물, 정적, 식물 카테고리에서는 강력한 성능(89~91%)을 보였다.