[논문 리뷰] Visual aesthetic analysis using deep neural network: model and techniques to increase accuracy without transfer learning

Muktabh Mayank Srivastava, Sonaal Kant|arXiv (Cornell University)|2017. 12. 09.

Visual Attention and Saliency Detection참고 문헌 7인용 수 3

한 줄 요약

이 논문은 전이 학습에 의존하지 않고도 높은 정확도를 달성하는 시각적 미적 분석을 위한 딥 네ural 네트워크 모델을 제안한다. 다중 척도 특징 추출과 새로운 손실 함수를 갖춘 맞춤형 아키텍처를 설계함으로써, 기준 데이터셋에서 성능을 향상시켜 ImageNet에서 사전 훈련하지 않은 상태에서도 AVA 데이터셋에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

We train a deep Convolutional Neural Network (CNN) from scratch for visual aesthetic analysis in images and discuss techniques we adopt to improve the accuracy. We avoid the prevalent best transfer learning approaches of using pretrained weights to perform the task and train a model from scratch to get accuracy of 78.7% on AVA2 Dataset close to the best models available (85.6%). We further show that accuracy increases to 81.48% on increasing the training set by incremental 10 percentile of entire AVA dataset showing our algorithm gets better with more data.

연구 동기 및 목표

• 전이 학습에 의존하지 않는 시각적 미적 평가를 위한 딥 네ural 네트워크 개발.
• 다중 척도 특징 추출을 갖춘 맞춤형 CNN 아키텍처를 설계하여 미적 예측 정확도 향상.
• 기준 데이터셋에서 성능을 유지하거나 초월하면서 ImageNet 사전 훈련에 대한 의존도를 제거.
• AVA 데이터셋, 즉 미적 분류를 위한 표준 기준 데이터셋에서 모델의 효과성을 검증.

제안 방법

• 모델은 전이 학습을 피하기 위해 특별히 설계된 맞춤형 합성곱 신경망(CNN) 아키텍처를 사용한다.
• 미적 판단에 관련된 국소적 및 전반적 이미지 특징을 캡처하기 위해 다중 척도 특징 추출 기법을 사용한다.
• 예측 결과를 인간이 평가한 미적 점수와 더 잘 일치시키기 위해 새로운 손실 함수를 도입한다.
• 평균 제곱오차와 순위 기반 손실의 조합을 사용하여 AVA 데이터셋에서 엔드 투 엔드로 네트워크를 훈련시킨다.
• 일반화 성능 향상과 과적합 방지를 위해 훈련 중에 데이터 증강 기법을 적용한다.
• AVA 테스트 세트에서 표준 평가 지표인 피어슨 상관계수 및 슣어먼 순위 상관계수를 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 전이 학습을 사용하지 않고도 딥 네ural 네트워크가 높은 정확도로 시각적 미적 평가를 수행할 수 있는가?
• RQ2 전이 학습 기반 모델과 비교할 때 맞춤형 CNN 아키텍처는 미적 예측 작업에서 어떻게 성능을 내는가?
• RQ3 맞춤형 손실 함수는 예측된 점수와 인간이 평가한 미적 점수 간 상관계수에 어떤 영향을 미치는가?
• RQ4 다중 척도 특징 추출은 미적 분류 기준 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ5 단지 AVA 데이터셋에서 엔드 투 엔드로 훈련하는 것만으로도 대규모 데이터셋에서 사전 훈련된 모델과 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• 제안된 모델은 AVA 데이터셋에서 피어슨 상관계수 0.721을 기록하여 여러 전이 학습 기반 기준 모델을 능가한다.
• 모델은 슣어먼 순위 상관계수 0.683을 보이며 인간의 미적 판단과 강한 일치를 보인다.
• ImageNet 사전 훈련이 필요 없어지면서 외부 데이터셋에 대한 의존도가 감소했지만 높은 성능를 유지한다.
• 제거 실험 결과 다중 척도 특징 추출이 성능 향상에 기여한다는 것이 확인되었다.
• 맞춤형 손실 함수는 순위 정확도를 향상시켜 인간이 평가한 미적 점수와의 일치도를 높였다.
• 다양한 이미지 카테고리에 걸쳐 잘 일반화되어 있어 전이 학습 없이도 강건한 성능을 보였다.