[論文レビュー] Historical and Modern Features for Buddha Statue Classification

Benjamin Renoust, Matheus Oliveira Franca+8 more|arXiv (Cornell University)|Sep 17, 2019

Aesthetic Perception and Analysis参考文献 35被引用数 5

ひとこと要約

本稿では、仏像の顔面から歴史的建造規準（象徴的構成規則）を自動的に回復する手法を提案し、分類タスクにおける現代の深層学習特徴と比較している。7,000枚の画像からなる中規模データセットを用いて、ResNet50のような現代的特徴が精度において優れている一方で、象徴的構成法は優れた説明可能性を提供し、埋め込み空間に意味のあるスタイルクラスタを明らかにしていることを示している。

ABSTRACT

While Buddhism has spread along the Silk Roads, many pieces of art have been displaced. Only a few experts may identify these works, subjectively to their experience. The construction of Buddha statues was taught through the definition of canon rules, but the applications of those rules greatly varies across time and space. Automatic art analysis aims at supporting these challenges. We propose to automatically recover the proportions induced by the construction guidelines, in order to use them and compare between different deep learning features for several classification tasks, in a medium size but rich dataset of Buddha statues, collected with experts of Buddhism art history.

研究の動機と目的

• 規範的建造規則に基づいた自動的な顔面特徴点抽出手法を用いて、仏像の顔面から象徴的構成ガイドラインを自動的に回復する方法の開発。
• 仏像分類タスクにおいて、歴史的象徴的構成特徴と現代の深層学習埋め込みの性能を比較すること。
• さまざまな深層学習アーキテクチャ（例：ResNet50、VGGFace2）および埋め込みタイプ（画像ベース、知識グラフベース）が複数の分類タスクに与える効果を評価すること。
• 顔の領域だけが、素材、スタイル、建造方法分類の強力な識別子として機能するかどうかを検討すること。
• データ取得方法（スキャンされた書籍対3Dスキャン）が分類性能に与える影響を評価すること。

提案手法

• 歴史的規範的建造ガイドラインに基づいたルールベースのアプローチを用いて、3次元仏像の2次元写真から顔面特徴点を自動検出する。
• 検出された特徴点から、比や割合などの象徴的測定値を抽出し、歴史的特徴量のセットを生成する。
• 顔領域とフル画像入力を用いて、複数の深層学習モデル（ResNet50、VGGFace2、node2vec）を分類タスクに適合・評価する。
• 芸術的スタイル、時代、世紀の情報を統合した知識グラフ（KG）を構築し、意味的埋め込みを生成する。
• 埋め込みタイプごとの分類性能を比較する：象徴的構成法、画像ベース特徴（ResNet50、VGGFace2）、KGベース埋め込み。
• t-SNE可視化を用いて、埋め込み空間の構造と分離性を分析し、特に象徴的構成法と深層学習特徴の比較を行う。

実験結果

リサーチクエスチョン

• RQ1 2次元写真から自動的な特徴点検出を用いて、仏像の顔面から歴史的象徴的構成ガイドラインを信頼性高く回復できるか？
• RQ2 複数のタスクにわたり、象徴的構成特徴の分類精度は現代の深層学習埋め込みと比べてどの程度異なるか？
• RQ3 顔領域の埋め込みは、スタイル・素材・建造方法分類において、フル画像埋め込みを上回る性能を示すか？
• RQ4 知識グラフに時代情報（世紀）を統合すると、埋め込み空間における芸術的スタイルの分離性はどのように変化するか？
• RQ5 データ取得方法（スキャンされた書籍対3Dスキャン）が分類性能に顕著な影響を及ぼすか？

主な発見

• ResNet50が、特に顔領域で微調整された場合、全体の分類性能が最も高く、VGGFace2および象徴的構成特徴を上回った。
• ResNet50の顔固有埋め込みは、木材種別と建造方法分類において優れた性能を示し、顔が素材と職人技の強力な識別子であることを示唆した。
• 精度は低かったものの、象徴的構成特徴はt-SNE可視化で明確で意味のあるクラスタを形成しており、それらが内在的なスタイルパターンを捉えている可能性を示唆した。
• 知識グラフベースの埋め込みは、スタイル分類（T1）において、最高の画像ベース埋め込みと同等の性能を示した。特に時代情報が統合された場合に顕著であった。
• VGGFace2とImageNet事前学習モデルの性能差は、剛体的でスタイルが強い仏像顔面には、人間顔認識からの転移学習が効果的でないことを示唆した。
• 知識グラフに世紀情報を追加することで、芸術的スタイルの分離性が向上し、時間的文脈が意味的モデリングにおいて価値を持つことが確認された。