[논문 리뷰] ARTxAI: Explainable Artificial Intelligence Curates Deep Representation Learning for Artistic Images using Fuzzy Techniques

Javier Fumanal-Idocin, Javier Andreu-Pérez외 3명|arXiv (Cornell University)|2023. 08. 29.

Aesthetic Perception and AnalysisNeuroscience인용 수 3

한 줄 요약

이 논문은 예술적 이미지에 대한 딥 레이어링 학습을 향상시키기 위해 CLIP 및 최적화된 ResNet50 특징과 함께 퍼지 클러스터링 및 퍼지 규칙 기반 시스템을 통합한 설명 가능 AI 프레임워크 ARTxAI를 제안한다. 이는 비맥락 기반 모델 대비 최대 26% 향상된 분류 성능을 보이며, 퍼지 규칙를 통해 딥 특징을 시각적 및 스타일적 특성으로 해석 가능한 맵핑을 가능하게 한다.

ABSTRACT

Automatic art analysis employs different image processing techniques to classify and categorize works of art. When working with artistic images, we need to take into account further considerations compared to classical image processing. This is because such artistic paintings change drastically depending on the author, the scene depicted, and their artistic style. This can result in features that perform very well in a given task but do not grasp the whole of the visual and symbolic information contained in a painting. In this paper, we show how the features obtained from different tasks in artistic image classification are suitable to solve other ones of similar nature. We present different methods to improve the generalization capabilities and performance of artistic classification systems. Furthermore, we propose an explainable artificial intelligence method to map known visual traits of an image with the features used by the deep learning model considering fuzzy rules. These rules show the patterns and variables that are relevant to solve each task and how effective is each of the patterns found. Our results show that our proposed context-aware features can achieve up to $6\%$ and $26\%$ more accurate results than other context- and non-context-aware solutions, respectively, depending on the specific task. We also show that some of the features used by these models can be more clearly correlated to visual traits in the original image than others.

연구 동기 및 목표

• 맥락적 및 시각적 특징을 활용하여 예술적 이미지 분류 시스템의 일반화 능력과 성능을 향상시키는 것.
• 예술 분석에서 딥 러닝 모델의 투명성 부족 문제를 해결하기 위해 설명 가능 AI(XAI) 기법을 도입하는 것.
• 퍼지 규칙 기반 시스템을 사용하여 딥 특징을 그림의 알려진 시각적 및 스타일적 특성으로 맵핑하는 것.
• 유사한 예술 분류 작업 간에 딥 특징의 이식 가능성 평가하는 것.
• 퍼지 소속도 및 규칙 유도를 통해 특정 특징이 예술 스타일과 시각적 신호에 얼마나 관련이 있는지 정량화하는 것.

제안 방법

• 예술적 이미지의 텍스트 애너테이션에서 맥락 임베딩을 생성하기 위해 퍼지 C-평균(FCM) 클러스터링을 활용한다.
• 예술 스타일과 특징 활성화 간의 관계를 모델링하기 위해 퍼지 규칙 기반 클러스터링 알고리즘을 적응한다.
• 시각적 표현 학습을 향상시키기 위해 대비 학습을 위한 CLIP 특징을 통합한다.
• 하류 분류 작업을 위해 예술적 이미지 데이터셋에서 ResNet50를 미세조정하여 딥 특징을 추출한다.
• 딥 특징이 특정 예술 스타일과 관련이 있는지 해석하기 위해 퍼지 규칙 기반 분류기(FRBC)를 사용한다.
• 샘플 간 특징의 지배도 및 클러스터링 패턴을 시각화하기 위해 주성분 분석(PCA)을 적용한다.

Figure 1 : Scheme of the two proposed classification frameworks using contextual features. Option (A) uses the contextual features to regularise the training of the CNN. The last layer of the network is replaced to fit the number of classes in the task. Option (B) appends the visual and contextual f

실험 결과

연구 질문

• RQ1 맥락 인식 특징는 비맥락 기반 모델 대비 예술적 이미지 분류에서 얼마나 성능을 향상시키는가?
• RQ2 모델이 학습한 어떤 딥 특징가 알려진 시각적 및 스타일적 특성과 가장 강하게 관련되어 있는가?
• RQ3 퍼지 규칙는 추상적인 딥 특징를 예술 스타일이나 시대와 같은 설명 가능한 시각적 특성으로 얼마나 효과적으로 맵핑하는가?
• RQ4 동일한 딥 특징 세트가 여러 관련된 예술 분류 작업 간에 일반화 가능한가?
• RQ5 FCM에서 유도된 퍼지 소속도 함수는 예술적 이미지 분석에서 맥락 임베딩의 해석 가능성에 어떻게 기여하는가?

주요 결과

• 제안된 맥락 인식 모델은 비맥락 기반 솔루션 대비 최대 6% 높은 정확도를 기록하였으며, 특정 작업에서는 비맥락 기반 기준 대비 최대 26% 향상된 성능을 보였다.
• FRBC에서 특징 15는 해석 가능성 점수(DS = 0.6888)가 가장 높아, '쿠비즘은 낮음 AND 르네상스 초기는 높음 AND 포인틸리즘은 낮음'이라는 규칙과 강한 상관관계를 보였다.
• 특징 16는 '분석적 큐비즘은 낮음 AND 낙관적 예술·원시주의는 중간 AND 포인틸리즘은 중간'이라는 규칙에서 높은 규칙 지지도(DS = 0.4714)를 기록하였다.
• FRBC에서 특징 2의 분류 성능은 MCC = 0.5001을 기록하여 '르네상스 초기는 높음 AND 북유럽 르네상스는 높음'이라는 규칙에 대해 강력한 예측 능력을 보였다.
• MTL-FCM 프레임워크는 다른 구성보다 뛰어난 성능을 보였으며, FRBC 평가에서 특징 14는 MCC = 0.4666, 특징 16는 MCC = 0.4714를 기록하였다.
• PCA 시각화 결과 특정 특징(예: 특징 14)이 샘플 전반에서 일관되게 지배적인 것으로 확인되어, 분류 작업에 대해 높은 관련성을 지닌 것으로 나타났다.

Figure 2 : Example of the extraction of the different descriptors for a Grad-CAM heatmap. (a) shows the gradient magnitude for each pixel. We choose the highest value from that image as the descriptor. (b) shows the pixels denoted as relevant because their value was higher than the average value in