[논문 리뷰] A Survey of Hand Crafted and Deep Learning Methods for Image Aesthetic Assessment.

Saira Kanwal, Muhammad Uzair외 1명|arXiv (Cornell University)|2021. 03. 22.

Visual Attention and Saliency Detection참고 문헌 95인용 수 4

한 줄 요약

이 종합 검토는 수작업으로 구성된 특징 및 딥러닝 기반 방법을 종합적으로 분석하여 이미지의 미적 평가를 자동으로 수행하는 기법들을 다룬다. 균형, 대비, 조화 등의 특징을 분석하여 이미지를 미적 수준으로 분류한다. 다양한 방법 간의 성능을 비교하고, 특정 모델이나 특징이 더 우수한 성능을 내는 이유를 규명한다.

ABSTRACT

Automatic image aesthetics assessment is a computer vision problem that deals with the categorization of images into different aesthetic levels. The categorization is usually done by analyzing an input image and computing some measure of the degree to which the image adhere to the key principles of photography (balance, rhythm, harmony, contrast, unity, look, feel, tone and texture). Owing to its diverse applications in many areas, automatic image aesthetic assessment has gained significant research attention in recent years. This paper presents a literature review of the recent techniques of automatic image aesthetics assessment. A large number of traditional hand crafted and deep learning based approaches are reviewed. Key problem aspects are discussed such as why some features or models perform better than others and what are the limitations. A comparison of the quantitative results of different methods is also provided at the end.

연구 동기 및 목표

• 최근 자동 이미지의 미적 평가 기법에 대한 종합적인 검토를 제공하기 위해.
• 수작업 특징 기반 및 딥러닝 기반 접근법의 강점과 한계를 분석하기 위해.
• 기준 데이터셋을 기반으로 한 다양한 방법 간의 정량적 성능을 비교하기 위해.
• 특정 특징이나 모델이 미적 분류에서 더 높은 성능을 내는 이유를 규명하기 위해.
• 이미지의 미적 평가 분야에서의 주요 과제와 열린 문제점을 부각하기 위해.

제안 방법

• 학술지 및 컆퍼런스에서 발표된 최근 자동 이미지의 미적 평가 연구에 대한 체계적 문헌 검토.
• 수작업 특징 기반 및 딥러닝 기반 접근법으로 방법을 분류.
• 균형, 리듬, 조화, 대비, 통일성, 톤, 질감 등의 핵심 사진 기법 원칙을 기반으로 하는 특징 분석.
• 기준 데이터셋에서 표준 평가 지표를 사용하여 모델 성능 평가 및 인간 평가와의 상관관계 분석.
• 피어슨 상관계수 및 스피어만 상관계수와 같은 상관계수 및 평균 제곱 오차를 기반으로 다양한 방법 간 성능 비교.
• 성능 향상에 기여하는 특징 공학 및 네트워크 아키텍처의 반복적 패턴 식별.

실험 결과

연구 질문

• RQ1 이미지의 미적 평가에 있어 가장 효과적인 수작업 특징는 무엇이며, 이는 사진 기법 원칙과 어떻게 관련되어 있는가?
• RQ2 성능 및 일반화 능력 측면에서 딥러닝 모델은 전통적인 수작업 특징 기반 방법보다 어떻게 비교되는가?
• RQ3 어떤 모델이나 특징 세트가 인간의 미적 판단과 더 높은 상관관계를 보이는가?
• RQ4 현재 자동 이미지의 미적 평가 방법에서 주요한 한계와 과제는 무엇인가?
• RQ5 가장 흔히 사용되는 데이터셋과 평가 지표는 무엇이며, 이는 보고된 성능에 어떻게 영향을 미치는가?

주요 결과

• 딥러닝 기반 방법은 인간 평가와의 상관관계 측면에서 수작업 특징 기반 방법보다 일반적으로 뛰어난 성능을 보인다.
• 구성, 대비, 질감과 관련된 특징는 다양한 모델과 데이터셋에서 일관되게 중요한 요소로 작용한다.
• 저수준 및 고수준 특징을 모두 통합한 모델은 단일 수준의 특징에 의존하는 모델보다 더 뛰어난 성능을 달성한다.
• 진전이 있었음에도 불구하고, 최첨단 모델과 인간 수준의 미적 판단 간에 여전히 큰 성능 격차가 존재한다.
• 평가 지표와 기준 데이터셋의 선택은 보고된 결과에 강한 영향을 미치므로, 모델 간 비교 시 주의가 필요하다.
• 한계로는 특정 데이터셋에 대한 과적합, 딥 모델의 해석 어려움, 다양한 이미지 카테고리 간 일관성 없는 일반화 능력이 있다.