[논문 리뷰] Neural Style Representations and the Large-Scale Classification of Artistic Style

Jeremiah Johnson|arXiv (Cornell University)|2016. 11. 16.

Aesthetic Perception and Analysis참고 문헌 15인용 수 3

한 줄 요약

이 논문은 사전 훈련된 VGG-19 네트워크에서 유도된 신경 스타일 표현—특히 그람 행렬—을 사용하여 76,449幅의 그림을 70개의 스타일 카테고리로 대규모 예술 스타일 분류에 응용한다. 비록 미세조정된 잔차 신경망이 36.99%의 상위 1% 정확도를 기록했지만, 최고의 신경 스타일 표현(ReLU3_1 특징을 사용한 랜덤 포레스트)은 33.46%의 정확도를 기록하여, 깊이 있는 신경망에서 유도된 스타일 특징가 예술 스타일 분류에 효과적이지만 보조적인 분류기로 기능할 수 있음을 보여준다.

ABSTRACT

The artistic style of a painting is a subtle aesthetic judgment used by art historians for grouping and classifying artwork. The recently introduced `neural-style' algorithm substantially succeeds in merging the perceived artistic style of one image or set of images with the perceived content of another. In light of this and other recent developments in image analysis via convolutional neural networks, we investigate the effectiveness of a `neural-style' representation for classifying the artistic style of paintings.

연구 동기 및 목표

• 깊이 합성 신경망에서 유도된 신경 스타일 표현이 대규모이고 세밀한 분류 데이터셋에서 예술 스타일을 효과적으로 분류할 수 있는지 평가하는 것.
• 전통적인 딥러닝 모델과 비교하여 신경 스타일 표현의 성능을 예술 스타일 분류 과제에서 평가하는 것.
• 특징 차원 수와 전처리(예: 주성분 분석, 정규화)가 스타일 표현의 예측 능력에 미치는 영향을 조사하는 것.
• 사전 훈련된 네트워크의 어떤 층이 분류 과제에 있어 스타일 정보를 가장 잘 코딩하는지 규명하는 것.
• 이전 연구와는 달리 더 이질적이고 고해상도인 데이터셋에서 스타일 표현의 강건성을 평가하는 것.

제안 방법

• 각 그림에 대해 VGG-19의 ReLU1_1, ReLU2_1, ReLU3_1, ReLU4_1, ReLU5_1 층의 특징 활성화에 대한 그람 행렬을 추출하였다.
• 대칭적인 그람 행렬을 각각 2016, 8128, 32640, 130816, 130816 차원의 1차원 특징 벡터로 변형하였다.
• Adam 최적화를 사용하여 전체 연결된 스타일 표현에 대해 단일층 선형 분류기를 훈련시켰다.
• 각 개별 그람 행렬 표현에 대해 별도의 랜덤 포레스트 분류기를 구축하여 층별 성능을 평가하였다.
• 분산의 90%를 유지하면서 차원을 감소시키기 위해 주성분 분석을 적용하고, 그 영향을 분류 정확도에 대해 평가하였다.
• 입력 특징을 정규화하고, 특히 차원 감소와 함께 그 영향을 모델 성능에 대해 평가하였다.

실험 결과

연구 질문

• RQ1 특징 활성화의 그람 행렬로 정의된 신경 스타일 표현이 대규모이고 세밀한 분류 데이터셋에서 예술 스타일을 효과적으로 분류하는 데 사용될 수 있는가?
• RQ2 동일한 분류 과제에서 신경 스타일 표현의 성능가 미세조정된 잔차 신경망의 성능과 비교해보면 어떻게 되는가?
• RQ3 사전 훈련된 VGG-19 네트워크의 어떤 특정 층이 예술 스타일 분류에 있어 가장 구분력 있는 스타일 표현을 제공하는가?
• RQ4 차원 감소(예: 주성분 분석)가 신경 스타일 표현의 예측 정확도에 어떤 영향을 미치는가?
• RQ5 특징 정규화가 신경 스타일 표현에 기반한 모델의 성능을 향상시키는가?

주요 결과

• 최고의 성능을 보인 신경 스타일 표현은 ReLU3_1 층에서 유도된 것으로, 랜덤 포레스트 분류기를 사용해 상위 1% 정확도 33.46%를 달성하였다.
• ReLU2_1 및 ReLU1_1 층은 각각 28.97% 및 27.84%의 상위 1% 정확도를 기록하여, 전체 특징 선형 분류기(13.21% 정확도)를 초월하였다.
• 깊이 있는 층(ReLU4_1 및 ReLU5_1)에서는 신경 스타일 표현의 성능가 크게 떨어졌으며, 정확도는 각각 9.79% 및 10.18%로 감소하였다.
• ReLU1_1 표현에 주성분 분석을 적용해 분산의 90%를 유지하면 랜덤 포레스트 정확도가 27.84%에서 17%로 감소하여, 고차원적 구조가 성능에 매우 중요함을 시사하였다.
• 입력 특징의 정규화가 모델 정확도에 유의미한 향상 효과를 주지 않아, 원본 그람 행렬 특징가 이미 분류에 적합하게 스케일링되어 있음을 시사하였다.
• 미세조정된 잔차 신경망(36.99% 상위 1% 정확도)보다 성능이 낮기는 했지만, 신경 스타일 표현이 의미 있는 예측 능력을 보여주어, 관련된 스타일 정보를 효과적으로 코딩하고 있음을 확인하였다.