[논문 리뷰] Formal Analysis of Art: Proxy Learning of Visual Concepts from Style Through Language Models

Diana Kim, Ahmed Elgammal외 1명|arXiv (Cornell University)|2022. 01. 05.

Aesthetic Perception and Analysis인용 수 4

한 줄 요약

이 논문은 비용이 많이 드는 시각적 애너테이션을 필요로 하지 않고, 스타일 레이블과 언어 모델을 사용하여 흑백 예술 작품의 시각적 요소를 정량화하는 프록시 학습 프레임워크를 제안한다. 새로운 딥-프록시 방법은 언어 모델 출력의 노이즈에 대해 강건성을 보이며, 기존의 속성 학습 방법보다 제로샷 시각적 개념 학습에서 뛰어난 성능을 보인다.

ABSTRACT

We present a machine learning system that can quantify fine art paintings with a set of visual elements and principles of art. This formal analysis is fundamental for understanding art, but developing such a system is challenging. Paintings have high visual complexities, but it is also difficult to collect enough training data with direct labels. To resolve these practical limitations, we introduce a novel mechanism, called proxy learning, which learns visual concepts in paintings though their general relation to styles. This framework does not require any visual annotation, but only uses style labels and a general relationship between visual concepts and style. In this paper, we propose a novel proxy model and reformulate four pre-existing methods in the context of proxy learning. Through quantitative and qualitative comparison, we evaluate these methods and compare their effectiveness in quantifying the artistic visual concepts, where the general relationship is estimated by language models; GloVe or BERT. The language modeling is a practical and scalable solution requiring no labeling, but it is inevitably imperfect. We demonstrate how the new proxy model is robust to the imperfection, while the other models are sensitively affected by it.

연구 동기 및 목표

• 색채, 선, 질감과 같은 예술적 요소에 대한 직접적인 시각적 애너테이션이 부족한 문제를 해결하기 위해.
• 시각적 애너테이션 없이 스타일 레이블과 언어 모델에만 의존하여 시각적 개념을 학습하는 기계 학습 프레임워크를 개발하기 위해.
• 불완전한 언어 모델 감독 하에서 다양한 프록시 학습 방법의 강건성 평가하기 위해.
• 딥-프록시라는 새로운 방법이 깊이 있는 CNN과 언어 모델이 제공하는 스타일-개념 관계를 조합하여, 기존 방법보다 언어 모델 오류에 더 강건한지 입증하기 위해.

제안 방법

• 프록시 학습을 도입—스タイル과의 일반적인 선형 관계를 통해 스타일 레이블과 언어 모델만을 사용하여 시각적 개념을 학습하는 프레임워크.
• 기존의 네 가지 속성 학습 방법(Sparse Coding, Logistic Regression, PCA, ESZSL)을 프록시 학습 프레임워크 내에서 재구성.
• 딥-프록시라는 새로운 방법을 제안—단지 스타일 분류자로만 훈련되는 깊이 있는 CNN을 사용하지만, 언어 모델이 추정한 스타일-개념 관계를 활용해 시각적 개념 임베딩을 추출.
• 사전 훈련된 언어 모델(GloVe 및 BERT)을 사용해 스타일과 시각적 개념 간의 관계를 인코딩하는 임베딩 행렬 $ G $ 생성.
• 딥-CNN을 스타일 예측하도록 훈련하면서, 마지막 히든 레이어를 선형 투영을 통해 언어 모델의 개념 임베딩과 일치시키도록 제약.
• 예측된 스타일과 프록시 개념 표현 간의 일관성을 강제하는 정규화된 손실을 최적화.

실험 결과

연구 질문

• RQ1 예술적 스타일과의 일반적인 관계를 활용하여 직접적인 시각적 애너테이션 없이 예술에서의 시각적 개념을 효과적으로 학습할 수 있는가?
• RQ2 불완전한 언어 모델 감독 하에서 프록시 학습 방법의 성능는 어떻게 변하는가?
• RQ3 언어 모델의 스타일-개념 관계 추정에 노이즈가 있거나 정확도가 떨어질 경우 어떤 프록시 학습 방법이 가장 강건한가?
• RQ4 프록시 감독 하에 스타일 분류만 훈련된 깊이 있는 CNN이 시각적 요소의 의미를 어느 정도 학습할 수 있는가?

주요 결과

• 딥-프록시 방법은 BERT 임베딩을 사용할 때 평가-TEST에서 최고의 AUC 점수(0.78)를 기록하며, 다른 프록시 방법보다 뛰어난 성능을 보였다.
• 프록시 학습 프레임워크 내에서 특이값 분해(SVD)는 언어 모델의 불완전성에 대해 뛰어난 강건성을 보이며, 평가-VAL 분할에서 AUC 점수 0.73(BERT) 및 0.78(GloVe)를 기록했다.
• 로지스틱 회귀(LGT)는 언어 모델의 품질에 매우 민감하여, BERT 기준 AUC가 0.38로 급격히 떨어지지만, GloVe 기준으로는 0.77로 상승하여 임베딩 품질에 강한 의존성을 보였다.
• 언어 모델 품질 점수와 AUC 결과 간 피어슨 상관계수는 LGT의 경우 r ≈ 0.65이며, SVD의 경우 r ≈ 0.55이므로 SVD가 노이즈가 많은 언어 모델에 더 강건함을 확인했다.
• 단어 'planar'에 대해 BERT는 인상파 및 표현주의와의 부정적 연관성을 잘못 인코딩하여, 이는 LGT에 심각한 영향을 미쳤다(AUC: 0.38), 반면 SVD에는 중간 정도의 영향만 미쳤다(AUC: 0.73).
• 12개의 훈련 스타일, 8개의 테스트 스타일 분할에서 SVD는 항상 LGT를 앞서며, 상위 15개의 시각적 개념에 대해 AUC 점수 0.71(SVD) 대 0.63(LGT)를 기록했다.