[論文レビュー] ARTxAI: Explainable Artificial Intelligence Curates Deep Representation Learning for Artistic Images using Fuzzy Techniques

Javier Fumanal-Idocin, Javier Andreu-Pérez+3 more|arXiv (Cornell University)|Aug 29, 2023

Aesthetic Perception and AnalysisNeuroscience被引用数 3

ひとこと要約

本稿では、CLIPおよび微調整されたResNet50特徴量と組み合わせて、ファジィクラスタリングおよびファジィルールベースのシステムを統合することで、芸術的画像における深層表現学習を向上させる、説明可能なAIフレームワークARTxAIを提案する。この手法は、文脈に依存しないモデルと比較して分類性能を最大26%向上させるとともに、ファジィルールを用いて深層特徴量を視覚的・スタイル的特徴に解釈可能にマッピング可能である。

ABSTRACT

Automatic art analysis employs different image processing techniques to classify and categorize works of art. When working with artistic images, we need to take into account further considerations compared to classical image processing. This is because such artistic paintings change drastically depending on the author, the scene depicted, and their artistic style. This can result in features that perform very well in a given task but do not grasp the whole of the visual and symbolic information contained in a painting. In this paper, we show how the features obtained from different tasks in artistic image classification are suitable to solve other ones of similar nature. We present different methods to improve the generalization capabilities and performance of artistic classification systems. Furthermore, we propose an explainable artificial intelligence method to map known visual traits of an image with the features used by the deep learning model considering fuzzy rules. These rules show the patterns and variables that are relevant to solve each task and how effective is each of the patterns found. Our results show that our proposed context-aware features can achieve up to $6\%$ and $26\%$ more accurate results than other context- and non-context-aware solutions, respectively, depending on the specific task. We also show that some of the features used by these models can be more clearly correlated to visual traits in the original image than others.

研究の動機と目的

• 文脈的および視覚的特徴を活用することで、芸術的画像分類システムの一般化性能と性能を向上させること。
• 芸術分析におけるディープラーニングモデルのブラックボックス性に対処するため、説明可能なAI（XAI）技術を導入すること。
• ファジィルールベースのシステムを用いて、深層特徴量を絵画の既知の視覚的およびスタイル的特徴にマッピングすること。
• 深層特徴量が類似する芸術的分類タスク間でどれほど転送可能であるかを評価すること。
• ファジィ所属関数およびルール誘導を用いて、特定の特徴量が芸術的スタイルや視覚的キューにどれほど関連しているかを定量化すること。

提案手法

• 芸術的画像のテキストアノテーションから文脈的埋め込みを生成するために、ファジィC-平均（FCM）クラスタリングを用いる。
• 芸術的スタイルと特徴量活性化の関係をモデル化するために、ファジィルールベースのクラスタリングアルゴリズムを適応する。
• 視覚的表現学習を豊かにするために、対照的事前学習のためのCLIP特徴量を統合する。
• 芸術的画像のデータセット上でResNet50を微調整し、下流分類タスクのための深層特徴量を抽出する。
• 特定の芸術的スタイルに関連する深層特徴量がどれだけ重要であるかを解釈するために、ファジィルールベース分類器（FRBC）を用いる。
• サンプル間の特徴量の優位性およびクラスタリングパターンを可視化するために、主成分分析（PCA）を適用する。

Figure 1 : Scheme of the two proposed classification frameworks using contextual features. Option (A) uses the contextual features to regularise the training of the CNN. The last layer of the network is replaced to fit the number of classes in the task. Option (B) appends the visual and contextual f

実験結果

リサーチクエスチョン

• RQ1 文脈に依存する特徴量は、文脈に依存しない対比モデルと比較して、芸術的画像分類におけるディープラーニングモデルの性能をどの程度向上させるか？
• RQ2 モデルが学習したどの深層特徴量が、絵画の既知の視覚的およびスタイル的特徴と最も強く相関しているか？
• RQ3 ファジィルールは、芸術的スタイルや時代といった解釈可能な視覚的特徴に、抽象的な深層特徴量をどの程度効果的にマッピングできるか？
• RQ4 同じ深層特徴量セットが、複数の関連する芸術的分類タスクに一般化可能か？
• RQ5 FCMから導出されたファジィ所属関数は、芸術的画像分析における文脈的埋め込みの解釈可能性をどの程度向上させるか？

主な発見

• 提案された文脈に依存するモデルは、文脈に依存しないソリューションと比較して最大6%高い精度を達成し、特定のタスクでは文脈に依存しないベースラインと比較して最大26%高い精度を示した。
• FRBCにおける解釈可能性スコア（DS = 0.6888）が最も高かったのは特徴量15で、ルール「キュビズム IS Low かつ ルネサンス初期 IS High かつ ポイントリスム IS Low」と強い相関を示した。
• 特徴量16は、ルール「分析的キュビズム IS Low かつ ナイーブ・アート・プライミティブニズム IS Medium かつ ポイントリスム IS Medium」と高いルールサポート（DS = 0.4714）を示した。
• FRBCにおける特徴量2の分類性能はMCC = 0.5001に達し、ルール「ルネサンス初期 IS High かつ ノルディック・ルネサンス IS High」に対する強力な予測能力を示した。
• MTL-FCMフレームワークは他の構成よりも優れた性能を示し、FRBC評価において特徴量14はMCC = 0.4666、特徴量16はMCC = 0.4714を達成した。
• PCAの可視化結果から、特定の特徴量（例：特徴量14）がサンプル全体にわたり一貫して優位であったことが確認され、分類タスクにおけるその高さの関連性が示された。

Figure 2 : Example of the extraction of the different descriptors for a Grad-CAM heatmap. (a) shows the gradient magnitude for each pixel. We choose the highest value from that image as the descriptor. (b) shows the pixels denoted as relevant because their value was higher than the average value in