[논문 리뷰] Effective Aesthetics Prediction with Multi-level Spatially Pooled Features

Vlad Hosu, Bastian Goldlücke외 1명|arXiv (Cornell University)|2019. 04. 02.

Visual Attention and Saliency Detection참고 문헌 21인용 수 6

한 줄 요약

이 논문은 사전 훈련된 InceptionResNet-v2 네트워크에서 추출한 다중 수준 공간 풀링(Multi-level Spatially Pooled, MLSP) 특징을 사용하여 해상도 그대로의 입력을 허용하고 이미지 리사이징 또는 자르기 없이 효율적인 훈련을 가능하게 하는 새로운 딥러닝 프레임워크를 제안한다. 이 방법은 AVA 데이터셋에서 기존 최고 성능 기록인 0.612보다 뚜렷하게 높은 0.756의 스피어만 순서상관계수(Spearman correlation)를 달성하여 새로운 최고 성능을 기록한다.

ABSTRACT

We propose an effective deep learning approach to aesthetics quality assessment that relies on a new type of pre-trained features, and apply it to the AVA data set, the currently largest aesthetics database. While previous approaches miss some of the information in the original images, due to taking small crops, down-scaling or warping the originals during training, we propose the first method that efficiently supports full resolution images as an input, and can be trained on variable input sizes. This allows us to significantly improve upon the state of the art, increasing the Spearman rank-order correlation coefficient (SRCC) of ground-truth mean opinion scores (MOS) from the existing best reported of 0.612 to 0.756. To achieve this performance, we extract multi-level spatially pooled (MLSP) features from all convolutional blocks of a pre-trained InceptionResNet-v2 network, and train a custom shallow Convolutional Neural Network (CNN) architecture on these new features.

연구 동기 및 목표

• 기존 딥러닝 방법에서 이미지의 크기 조정, 자르기, 왜곡 등으로 인한 성능 저하 문제를 해결하기 위해.
• 해상도 제약 없이 전체 해상도 AVA 데이터셋(최대 800×800 픽셀)에서 효과적인 훈련을 가능하게 하기 위해.
• 사전 훈련된 모델에서 유도된 다중 수준 공간 풀링 특징을 활용하여 상관관계 기반 지표(예: SRCC)를 향상시키기 위해.
• 고정된 크기의 특징을 사용하는 단계적 훈련 파이프라인을 통해 GPU 메모리 사용량을 줄이고 훈련 속도를 가속화하기 위해.
• 사전 훈련된 특징이 다중 수준에서 공간 풀링될 경우, 미적 평가에 대해 엔드 투 엔드 훈련보다 더 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 고해상도 이미지에 대해 사전 훈련된 InceptionResNet-v2 네트워크의 모든 합성곱 블록에서 다중 수준 공간 풀링(MLSP) 특징을 추출한다.
• 이러한 압축된, 해상도에 의존하지 않는 특징(예: 5×5×16,928)을 디스크에 저장하여 특징 추출과 후속 훈련을 분리한다.
• MLSP 특징에 대해 얕은, 맞춤형 CNN 헤드를 훈련시켜 대용량 배치 훈련과 더 빠른 수렴을 가능하게 한다.
• 다양한 공간적 및 채널 표현을 최적화하기 위해 좁은(1×1×b) 및 넓은(5×5×b) MLSP 특징 헤드를 모두 사용한다.
• 특징 추출 중에 데이터 증강을 적용하여 일반화 성능을 향상시키면서도 원본 이미지 해상도를 유지한다.
• 특징 추출을 모델 훈련에서 분리하여 GPU 메모리 제약을 우회하고 고해상도 이미지에 대해 효율적이고 확장 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 훈련 중에 이미지 리사이징이나 자르기를 피할 경우, 미적 평가 성능이 뚜렷하게 향상될 수 있는가?
• RQ2 사전 훈련된 네트워크에서 유도된 다중 수준 공간 풀링 특징을 사용할 경우, 엔드 투 엔드 훈련보다 인간 평가 점수와의 상관관계가 더 높아지는가?
• RQ3 고해상도 특징을 사용하는 단계적 훈련 파이프라인은 GPU 메모리 사용량과 훈련 시간을 줄일 수 있으며 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 백본 아키텍처의 선택(예: InceptionResNet-v2 대비 Inception-v3)이 미적 평가를 위한 추출된 지각 특징의 품질에 어떤 영향을 미치는가?
• RQ5 기술적 이미지 품질(예: 선명도, 노이즈 등)이 구성적 또는 콘텐츠 기반 요소보다 모델 예측에 더 큰 영향을 미치는가?

주요 결과

• 제안된 방법은 AVA 데이터셋에서 스피어만 순서상관계수(SRCC) 0.756을 달성하여 이전 최고 기록인 0.612보다 뚜렷한 향상이 이루어졌다.
• 이 모델은 이전 최고 성능와 동일한 이진 정확도(81.7%)를 유지하면서도 상관관계 지표에서 크게 뛰어난 성능을 보였다.
• 리사이징이나 자르기 없이 전체 해상도 이미지에서 훈련할 경우 성능이 향상되었으며, 이는 블러나 노이즈와 같은 세밀한 기술적 품질 특징을 유지함으로써 가능했다고 추정된다.
• InceptionResNet-v2에서 유도된 MLSP 특징은 Inception-v3에서 유도된 특징보다 우수한 성능을 보였으며, 더 깊거나 고도화된 아키텍처가 더 나은 지각 표현을 제공함을 시사한다.
• MLSP 특징을 사용하는 단계적 훈련은 GPU 메모리 사용량을 줄이고 엔드 투 엔드 접근 대비 20배에서 200배 빠른 훈련 속도를 제공하며, 넓은 MLSP 특징의 경우 단일 에포크가 단지 10분이면 가능하다.
• 실패 케이스 분석 결과, 모델이 기술적 품질 요소에 과도하게 집중하여 콘텐츠는 강력한데 기술적 결함이 있는 이미지에서 오류가 더 높게 나타나, 가시적 매력보다 측정 가능한 이미지 품질에 편향되어 있음을 시사한다.