[논문 리뷰] OmniArt: Multi-task Deep Learning for Artistic Data Analysis

Gjorgji Strezoski, Marcel Worring|arXiv (Cornell University)|2017. 08. 02.

Aesthetic Perception and Analysis참고 문헌 34인용 수 51

한 줄 요약

OmniArt는 예술 데이터 분석을 위해 공유 표현을 갖춘 다중 작업 딥 러닝 프레임워크를 도입하며, Rijksmuseum’14에서의 최첨단 결과와 더 빠른 학습으로 새로운 OmniArt 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Vast amounts of artistic data is scattered on-line from both museums and art applications. Collecting, processing and studying it with respect to all accompanying attributes is an expensive process. With a motivation to speed up and improve the quality of categorical analysis in the artistic domain, in this paper we propose an efficient and accurate method for multi-task learning with a shared representation applied in the artistic domain. We continue to show how different multi-task configurations of our method behave on artistic data and outperform handcrafted feature approaches as well as convolutional neural networks. In addition to the method and analysis, we propose a challenge like nature to the new aggregated data set with almost half a million samples and structured meta-data to encourage further research and societal engagement.

연구 동기 및 목표

• 예술 데이터에 대한 공유 데이터 표현을 갖춘 효율적인 엔드투엔드 다중 작업 학습 방법을 개발한다.
• 다중 작업 미술 분석을 벤치마킹하기 위해 풍부한 메타데이터를 갖춘 박물관 중심의 대규모 데이터셋(OmniArt)을 생성한다.
• Rijksmuseum Challenge 2014와 OmniArt Challenge에서 최첨단 성능을 입증한다.
• 공유 표현이 예술 속성 간의 의미론적 얽힘을 활용해 정확도와 효율성을 향상시킨다는 것을 보여준다.

제안 방법

• 특징 추출기로서 깊은 CNN 기반(ResNet-50이 최적임)을 사용한다.
• 작업별 예측 블록으로 정보를 공급하는 공유 표현 층을 추가한다.
• 손실을 결합 손실 L_t = sum_i w_i s_i L_i로 합산된 결합 손실로 집계하되, 손실 간 균형을 맞추기 위해 작업별 스케일을 적용한다.
• 작업별로 서로 다른 손실 함수를 사용한다(다중 클래스 아티스트 할당에 대해 다항 교차 엔트로피, 기간에 대해 Mean Absolute Error를 이용한 회귀, 재료 및 유형에 대해 다중 라벨 이진 교차 엔트로피).
• 공유 표현을 통한 그래디언트가 역전파되도록 엔드투엔드로 학습하여 교차 작업 학습과 작업 간 잠재적 의미론적 얽힘을 가능하게 한다.
• 베이스 모델을 선택하기 위한 단계별 평가를 수행한 후 다중 작업 구성을 최적화하고, 학습 효율성에 중점을 둔다.

실험 결과

연구 질문

• RQ1 연관된 예술 속성들 간의 공유 표현 학습이 단일 태스크 모델에 비해 예측 성능을 향상시키는가?
• RQ2 예술 데이터에 가장 좋은 기본 표현을 제공하는 깊은 특징 추출기는 무엇인가?
• RQ3 공유 다중 작업 모델에서 서로 다른 태스크 유형(분류, 회귀, 다중 라벨)의 손실을 어떻게 균형 있게 조정해야 하는가?
• RQ4 다중 작업 미술 분석을 위한 최적의 공유 표현 특성(크기, 깊이)은 무엇인가?
• RQ5 공유 표현이 예술 작품 속성 간의 의미론적 연결을 드러내고 정량화할 수 있는가?

주요 결과

• ResNet-50이 테스트된 아키텍처 중에서 최상의 기본 특징을 제공했다.
• 다중 작업 OmniArt 모델은 보고된 설정에서 Rijks’14 과제와 OmniArt 과제에서 단일 태스크 딥 네트워크와 수작업 특징을 능가했다.
• 추가 연구를 촉진하기 위해 432,217장의 사진 복제본과 풍부한 메타데이터를 포함한 대규모 OmniArt 데이터셋이 구축되었다.
• 공유 표현 방식은 여러 작업에 걸친 일회 학습을 가능하게 하여 학습 시간을 줄이면서 예측 성능을 유지하거나 향상시킨다.
• 공유 계층을 통한 작업 간 상호 작용은 작업이 의미론적으로 연관될 때 정확도를 향상시킬 수 있으며, 다중 작업 접근의 타당성을 뒷받침한다.