[논문 리뷰] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning

Kekai Sheng, Weiming Dong외 7명|arXiv (Cornell University)|2019. 11. 26.

Visual Attention and Saliency Detection참고 문헌 58인용 수 7

한 줄 요약

이 논문은 수동 레이블이 없는 채택된 이미지 미적 평가를 위한 자기지도 학습 프레임워크를 제안한다. 이는 합성 이미지 변형을 사전 과제로 활용하여 수동 레이블 없이도 미적 감각을 반영하는 특징을 학습한다. 손상 유형과 매개변수를 식별하는 데 훈련함으로써, AVA 및 AADB 벤치마크에서 ImageNet 사전 훈련 모델과 유사한 성능을 달성하며, 다른 자기지도 학습 기반 모델보다 뛰어나고 대규모 레이블이 필요한 데이터 의존도를 줄인다.

ABSTRACT

Visual aesthetic assessment has been an active research field for decades. Although latest methods have achieved promising performance on benchmark datasets, they typically rely on a large number of manual annotations including both aesthetic labels and related image attributes. In this paper, we revisit the problem of image aesthetic assessment from the self-supervised feature learning perspective. Our motivation is that a suitable feature representation for image aesthetic assessment should be able to distinguish different expert-designed image manipulations, which have close relationships with negative aesthetic effects. To this end, we design two novel pretext tasks to identify the types and parameters of editing operations applied to synthetic instances. The features from our pretext tasks are then adapted for a one-layer linear classifier to evaluate the performance in terms of binary aesthetic classification. We conduct extensive quantitative experiments on three benchmark datasets and demonstrate that our approach can faithfully extract aesthetics-aware features and outperform alternative pretext schemes. Moreover, we achieve comparable results to state-of-the-art supervised methods that use 10 million labels from ImageNet.

연구 동기 및 목표

• 이미지 미적 평가 데이터셋에서 수동 레이블의 부족함과 편향 문제를 해결한다.
• 감각 특징 학습을 위한 지도 학습 사전 훈련의 대안으로 자기지도 표현 학습을 탐색한다.
• 이미지 변형이 미적 감각에 미치는 인지적 영향에 기반한 사전 과제를 설계한다.
• 엔트로피 기반 패치 가중치 전략을 통해 훈련 효율성과 신호 품질을 향상시킨다.
• 자기지도 특징이 대규모 지도 학습 사전 훈련에서 유도된 특징과 미적 벤치마크에서 동등하거나 이를 초월할 수 있음을 입증한다.

제안 방법

• 두 가지 새로운 사전 과제를 설계한다: (1) 패치에 적용된 이미지 편집 작업의 유형을 분류하고, (2) 이러한 작업의 매개변수 값을 회귀한다.
• 미적 감각을 떨어뜨리는 것으로 알려진 전문가가 설계한 이미지 변형(예: 블러링, 텍셀화, 패치 재배열, 카메라 흔들림)의 세트를 사용한다.
• 대조 학습 목표를 사용하여 백본 네트워크(예: ResNet-18)를 이러한 사전 과제에 대해 훈련시켜 이식 가능한 특징을 학습한다.
• 훈련 중 저신호 패치의 가중치를 낮추기 위해 엔트로피 기반 가중 전략을 적용하여 훈련 안정성과 효율성을 향상시킨다.
• 이중 분류를 위해 실제 미적 레이블을 사용하여 학습된 특징을 선형 분류기로 미세조정한다.
• 실제로 수동으로 레이블이 매겨진 미적 점수 없이도 합성된 약한 레이블이 부여된 이미지 패치만을 사용하여 사전 훈련한다.

실험 결과

연구 질문

• RQ1 이미지 손상 작동에 기반한 자기지도 사전 과제가 인간의 미적 감각과 관련된 특징을 효과적으로 학습할 수 있는가?
• RQ2 다양한 손상 관련 사전 과제를 함께 학습하는 것이 단일 과제 사전 훈련 대비 최종적인 미적 분류 정확도에서 어떻게 비교되는가?
• RQ3 엔트로피 기반 패치 가중 전략이 자기지도 미적 특징 학습에서 훈련 효율성과 모델 성능 향상에 얼마나 기여하는가?
• RQ4 수동으로 레이블이 매겨진 미적 점수 없이 훈련된 자기지도 특징이 미적 벤치마크에서 ImageNet 사전 훈련 모델과 동등한 성능을 달성할 수 있는가?
• RQ5 어떤 종류의 이미지 변형이 미적 감각을 반영하는 표현을 학습하는 데 가장 크게 기여하는가?

주요 결과

• 제안된 자기지도 방법은 CUHKPQ 데이터셋에서 88.5%의 정확도, AADB에서 69.2%의 정확도를 기록하며, 테스트 단계에서만 실제 레이블을 사용한 미세조정을 통해 ImageNet 사전 훈련 모델과 동등한 성능을 달성한다.
• AVA 벤치마크에서 선형 헤드를 사용할 경우 80.1%의 정확도를 기록하며, 1,000만 개의 ImageNet 레이블을 사용한 최신 완전 지도 학습 모델과 유사한 성능을 보인다.
• 손상 유형 및 매개변수 예측 과제를 동시에 사전 훈련하면 단일 과제 훈련보다 0.3–0.7% 높은 정확도를 기록하여 상호 보완적 이점이 있음을 시사한다.
• 훈련에서 카메라 흔들림 또는 부드럽고 흐린 효과를 제외할 경우 가장 큰 성능 저하(0.3–0.6% 감소)가 발생하여, 이들이 미적 감각과 강하게 연관되어 있음을 시사한다.
• 엔트로피 기반 가중 전략은 최소 0.5% 이상의 성능 향상을 이끌어내며 훈련 안정성을 향상시켜 특징 학습에서 바람직하지 않은 동역학을 방지한다.
• 모든 세 가지 벤치마크에서 표준 자기지도 기반 모델(예: 컨텍스트 예측, 조합 퍼즐, 색상화, 기울기 예측)보다 성능이 뛰어나다.