[論文レビュー] Integrating Contextual Knowledge to Visual Features for Fine Art Classification

Giovanna Castellano, Giovanni Sansaro+1 more|arXiv (Cornell University)|May 31, 2021

Aesthetic Perception and Analysis参考文献 12被引用数 10

ひとこと要約

本稿では、アートの実体と関係性をモデル化するため、WikiArt と DBpedia を統合した Neo4j ベースの知識グラフである ArtGraph を紹介する。視覚的特徴（ResNet50 から得たもの）と知識グラフからの node2vec 嵪合を融合することで、深層学習による細分化芸術分類を向上させ、アーティスト予測で 62.50% の精度を達成。これは視覚のみのベースラインと ContextNet モデルを上回る結果である。

ABSTRACT

Automatic art analysis has seen an ever-increasing interest from the pattern recognition and computer vision community. However, most of the current work is mainly based solely on digitized artwork images, sometimes supplemented with some metadata and textual comments. A knowledge graph that integrates a rich body of information about artworks, artists, painting schools, etc., in a unified structured framework can provide a valuable resource for more powerful information retrieval and knowledge discovery tools in the artistic domain. To this end, this paper presents ArtGraph: an artistic knowledge graph based on WikiArt and DBpedia. The graph, implemented in Neo4j, already provides knowledge discovery capabilities without having to train a learning system. In addition, the embeddings extracted from the graph are used to inject "contextual" knowledge into a deep learning model to improve the accuracy of artwork attribute prediction tasks.

研究の動機と目的

• 芸術作品、アーティスト、スタイル、運動といった芸術的実体とその間の豊かな文脈的関係を捉える包括的な芸術的知識グラフの構築を目的とする。
• モデルの学習を必要とせず、Neo4j のクエリ機能を活用して芸術分野における知識発見を可能にする。
• 構造的な文脈的知識を深層学習モデルに統合することで、アーティスト、スタイル、ジャンルといった細分化芸術属性の予測精度を向上させることを目的とする。
• アーティスト関係や外部知識ソースを欠如させた先行研究の知識グラフの限界を補うために、Wikipedia と DBpedia を活用する。
• デジタル・ヒューマニティーズおよびコンピュータビジョン分野の研究者に利用可能な公開可能で拡張可能なリソースを提供することを目的とする。

提案手法

• ArtGraph は、WikiArt（芸術作品、メタデータ）と DBpedia（アーティストの伝記、関係性）からの構造化データを Neo4j を用いて統合することで構築される。
• ノード2vec が知識グラフ上で適用され、各ノードに対して 128次元の埋め込みが生成され、文脈的知識がベクトル形式に符号化される。
• マルチタスク・マルチモーダル深層学習モデルは、視覚的特徴（ResNet50 から得た 2048次元）とグラフ埋め込み（128次元）を連結することで、アーティスト、スタイル、ジャンルの同時予測を実現する。
• モデルは、分類のための交差エントロピー損失と、視覚的特徴空間と文脈的特徴空間の一致を図るための平均二乗誤差（MSE）損失の重み付き組み合わせで学習される。
• ハイパーパramータは 10% の検証セットを用いて調整され、データ漏洩を防ぐためにグラフ埋め込みは訓練グラフ上でのみ学習される。
• 訓練用データは全データの 80% を占め、検証用に 10%、テスト用に 10% を割り当て、未観測の芸術作品への一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 DBpedia や WikiArt といった外部ソースを統合した知識グラフは、視覚的特徴のみに依存する場合を上回る細分化芸術分類の精度を実現できるか？
• RQ2 構造的な芸術的知識グラフから学習された埋め込みを統合することで、マルチラベル芸術属性予測における深層学習モデルの性能はどのように向上するか？
• RQ3 アーティスト間の関係（例：影響関係、運動への所属）をモデル化するグラフベースのアプローチは、メタデータのみに依存するモデルと比較して、より優れた一般化性能を示すか？
• RQ4 node2vec 嵪合による文脈的知識の統合は、正則化としての埋め込みのみを用いる手法をどの程度上回るか？
• RQ5 知識グラフは学習信号としての役割に加え、モデル学習を必要とせずに芸術史分野における知識発見のための独立したツールとしても機能できるか？

主な発見

• 提案されたモデルは、アーティスト分類で 62.50% の精度を達成し、微調整済み ResNet50 ベースライン（61.13%）と ContextNet（62.20%）を上回った。
• スタイル分類では 65.93% の精度を達成し、ベースライン（62.65%）と ContextNet（62.24%）を上回った。
• ジャンル分類では 66.52% の精度を達成し、ベースライン（65.32%）と ContextNet（65.93%）を上回った。
• グラフ埋め込みの統合により、3 つのタスクすべてで性能が顕著に向上し、芸術分析における深層学習における文脈的知識の価値を示した。
• アブレーションスタディの結果、視覚的特徴と文脈的特徴空間の一致を図る MSE 損失を含むマルチタスク損失が、一般化性能とモデルの頑健性を向上させた。
• 知識グラフは、モデル学習を必要とせずに、アーティストの影響関係や運動のトレンドの特定といった、独立した知識発見を可能にした。