[論文レビュー] GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph

Cheikh Brahim El Vaigh, Noa García+4 more|arXiv (Cornell University)|May 25, 2021

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 4

ひとこと要約

GCNBoostは、ラベル付きデータおよび疑似ラベル付きデータを用いたラベル伝搬により、知識グラフを活用したグラフ畳み込みネットワーク（GCN）を提案する。芸術作品間の意味的および文脈的関係をモデル化することで、絵画および仏像分類データセットにおいて最先端の性能を達成するが、グラフ内での接続性が極めて低いクラスでは性能が劣る。

ABSTRACT

The rise of digitization of cultural documents offers large-scale contents, opening the road for development of AI systems in order to preserve, search, and deliver cultural heritage. To organize such cultural content also means to classify them, a task that is very familiar to modern computer science. Contextual information is often the key to structure such real world data, and we propose to use it in form of a knowledge graph. Such a knowledge graph, combined with content analysis, enhances the notion of proximity between artworks so it improves the performances in classification tasks. In this paper, we propose a novel use of a knowledge graph, that is constructed on annotated data and pseudo-labeled data. With label propagation, we boost artwork classification by training a model using a graph convolutional network, relying on the relationships between entities of the knowledge graph. Following a transductive learning framework, our experiments show that relying on a knowledge graph modeling the relations between labeled data and unlabeled data allows to achieve state-of-the-art results on multiple classification tasks on a dataset of paintings, and on a dataset of Buddha statues. Additionally, we show state-of-the-art results for the difficult case of dealing with unbalanced data, with the limitation of disregarding classes with extremely low degrees in the knowledge graph.

研究の動機と目的

• 文化的遺産データ内の文脈的関係を活用することで、芸術作品分類を改善すること。
• 文化的遺産分類におけるラベル付きデータの不足に取り組むために、知識グラフの構築を行うこと。
• ラベル伝搬を用いたトランスductive学習により、不均衡データセットにおけるモデルの汎化性能と性能を向上させること。
• アノテート済みデータおよび疑似ラベル付きデータを統合的に知識グラフに統合し、表現学習を向上させること。
• 知識グラフ統合が、標準的な教師あり学習を上回るGCNベース分類の性能を向上させる有効性を評価すること。

提案手法

• アノテート済みおよび疑似ラベル付きの芸術作品データから知識グラフを構築し、芸術作品間の意味的および構造的関係を符号化すること。
• トランスductive学習を用いて、ノードの近接性およびグラフ構造を活用してラベルを知識グラフ全体に伝搬すること。
• メッセージパッシングを用いてノード表現を精緻化するため、知識グラフ上でグラフ畳み込みネットワーク（GCN）を学習すること。
• グラフのトポロジーおよびノード埋め込みに基づいて、ラベル付きノードからラベルなしノードへラベルを伝搬すること。
• コンテンツ特徴（例：視覚的埋め込み）とグラフベースの関係的特徴を統合して分類性能を向上させること。
• 段階的な訓練プロセスを用いる：まずラベル付きデータで事前学習を行い、その後グラフベースの疑似ラベルを用いて精緻化すること。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きおよび疑似ラベル付きデータから構築した知識グラフは、芸術作品分類性能を向上させることができるか？
• RQ2 知識グラフを通じたラベル伝搬は、不均衡な芸術作品分類タスクにおける性能にどのように影響するか？
• RQ3 グラフの接続性がモデル性能に与える影響、特に代表が不足しているクラスにおいてはいかなるか？
• RQ4 視覚的特徴と関係的知識を統合することは、標準的なGCNや教師ありベースラインと比較して、より良い汎化性能をもたらすか？
• RQ5 GCNBoostは、多様な文化的遺産データセットにおいて、最先端の手法と比較してどのように評価されるか？

主な発見

• GCNBoostは、絵画および仏像を含む複数の芸術作品分類タスクで最先端の性能を達成する。
• 知識グラフからの関係的インダクティブバイアスを活用することで、不均衡データセットにおける分類精度が顕著に向上する。
• 知識グラフ内で次数が極めて低いクラスでは性能が低下するため、グラフ接続性に感受性があることが示された。
• 知識グラフを通じたラベル伝搬は、ラベル付きデータからラベルなしデータへ知識を効果的に転送し、汎化性能を向上させる。
• 知識グラフに疑似ラベル付きデータを統合することで、完全に教師ありベースラインよりもモデルの頑健性と性能が向上する。
• 本手法は、宗教的および芸術的絵画を含む、さまざまな文化的遺産分野への高い汎用性を示している。