[논문 리뷰] Integrating Contextual Knowledge to Visual Features for Fine Art Classification

Giovanna Castellano, Giovanni Sansaro외 1명|arXiv (Cornell University)|2021. 05. 31.

Aesthetic Perception and Analysis참고 문헌 12인용 수 10

한 줄 요약

이 논문은 아트웍, 예술가, 스타일, 운동 등의 예술적 실체와 관계를 모델링하기 위해 WikiArt와 DBpedia를 통합한 Neo4j 기반 지식 그래프인 ArtGraph를 소개한다. 이는 시각적 특징(ResNet50에서 유도)과 지식 그래프에서 유도된 node2vec 임베딩을 융합함으로써 딥러닝을 통한 정교한 예술 분류를 향상시키며, 예술가 예측에서 62.50%의 정확도를 달성하여 시각적 특징만을 사용하는 베이스라인과 ContextNet 모델을 모두 능가한다.

ABSTRACT

Automatic art analysis has seen an ever-increasing interest from the pattern recognition and computer vision community. However, most of the current work is mainly based solely on digitized artwork images, sometimes supplemented with some metadata and textual comments. A knowledge graph that integrates a rich body of information about artworks, artists, painting schools, etc., in a unified structured framework can provide a valuable resource for more powerful information retrieval and knowledge discovery tools in the artistic domain. To this end, this paper presents ArtGraph: an artistic knowledge graph based on WikiArt and DBpedia. The graph, implemented in Neo4j, already provides knowledge discovery capabilities without having to train a learning system. In addition, the embeddings extracted from the graph are used to inject "contextual" knowledge into a deep learning model to improve the accuracy of artwork attribute prediction tasks.

연구 동기 및 목표

• 예술작품, 예술가, 스타일, 운동 간의 rich한 맥락적 관계를 포괄적으로 포착하는 예술 지식 그래프를 개발하는 것.
• 모델 훈련이 필요 없이 Neo4j의 쿼리 기능을 활용해 예술 분야의 지식 탐색을 가능하게 하는 것.
• 딥러닝 모델에 구조화된 맥락 지식을 통합하여 정교한 예술 속성 예측(예술가, 스타일, 장르)의 정확도를 향상시키는 것.
• 이전 지식 그래프가 예술가 관계나 외부 지식 소스를 결여한 점을 보완하기 위해 위키백과와 DBpedia를 활용하는 것.
• 디지털 인문학 및 컴퓨터 비전 분야의 연구자들이 사용할 수 있도록 공개되고 확장 가능한 자원을 제공하는 것.

제안 방법

• ArtGraph는 WikiArt(예술작품, 메타데이터)에서 유래한 구조화된 데이터와 DBpedia(예술가 생애사, 관계)에서 유래한 데이터를 Neo4j를 사용해 단일 그래프 데이터베이스에 통합함으로써 구성된다.
• 노드2vec은 ArtGraph의 각 노드에 대해 128차원의 임베딩을 생성하여 맥락 지식을 벡터 형식으로 인코딩한다.
• 다중 작업, 다중 모달 딥러닝 모델은 시각적 특징(ResNet50에서 유도된 2048차원)과 그래프 임베딩(128차원)을 연결하여 예술가, 스타일, 장르의 동시 예측을 수행한다.
• 모델은 분류를 위한 교차 엔트로피 손실과 시각적 특징 공간과 맥락 특징 공간을 일치시키기 위한 평균제곱오차(MSE) 손실의 가중 조합으로 훈련된다.
• 하이퍼파ram터는 10%의 검증 세트를 사용하여 튜닝되며, 데이터 유출을 방지하기 위해 그래프 임베딩은 훈련 그래프에서만 학습된다.
• 훈련 세트는 전체 데이터의 80%를 차지하며, 검증용 10%, 테스트용 10%로 나누어, 미리 보지 않은 예술작품에 대한 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 DBpedia와 WikiArt와 같은 외부 자료를 통합한 지식 그래프가 시각적 특징만을 사용하는 것보다 정교한 예술 분류의 정확도를 향상시킬 수 있는가?
• RQ2 구조화된 예술 지식 그래프에서 학습된 임베딩을 통합함으로써 다중 레이블 예술 속성 예측에서 딥러닝 모델의 성능은 어떻게 향상되는가?
• RQ3 예술가 간의 관계(예: 영향력, 운동 소속)를 모델링하는 그래프 기반 접근 방식이 메타데이터에만 의존하는 모델보다 더 나은 일반화 성능을 보이는가?
• RQ4 노드2vec 임베딩을 통해 맥락 지식을 주입하는 방식이 임베딩을 정규화 수단으로만 사용하는 방법보다 얼마나 뛰어난가?
• RQ5 지식 그래프가 훈련 신호 외에도 미술사 연구에서의 지식 탐색 도구로 독립적으로 활용될 수 있는가?

주요 결과

• 제안된 모델은 예술가 분류에서 62.50%의 정확도를 달성하여 미세조정된 ResNet50 베이스라인(61.13%)과 ContextNet(62.20%)을 모두 능가했다.
• 스타일 예측에서는 65.93%의 정확도를 기록하여, 베이스라인(62.65%)과 ContextNet(62.24%)을 초월했다.
• 장르 예측에서는 66.52%의 정확도를 달성하여, 베이스라인(65.32%)과 ContextNet(65.93%)를 모두 뛰어넘었다.
• 모든 세 가지 작업에서 그래프 임베딩의 통합이 성능 향상에 크게 기여하여, 예술 분석을 위한 딥러닝에서 맥락 지식의 가치를 입증했다.
• 제거 실험을 통해 시각적 특징과 맥락 특징 공간을 일치시키기 위한 MSE 손실을 포함한 다중 작업 손실이 일반화 능력과 모델의 강건성을 향상시켰다.
• 지식 그래프를 사용하면 모델 훈련 없이도 예술가 영향력과 운동 추세를 식별하는 등 독립적인 지식 탐색이 가능하다.