[논문 리뷰] GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph

Cheikh Brahim El Vaigh, Noa García외 4명|arXiv (Cornell University)|2021. 05. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 4

한 줄 요약

GCNBoost는 레이블이 부여된 데이터와 가짜 레이블이 부여된 데이터 간의 레이블 전파를 통해 지식 그래프를 활용한 그래프 컬러리션 네트워크(GCN)를 예술 작품 분류에 적용한다. 예술 작품 간의 의미적 및 맥락적 관계를 모델링함으로써, 특히 데이터 불균형 상황에서 우수한 성능을 기록하며, 예술 작품 분류 데이터셋에서 최고 수준의 성능을 달성하지만, 그래프 내 연결성이 매우 낮은 클래스에서는 성능이 열 劣하다.

ABSTRACT

The rise of digitization of cultural documents offers large-scale contents, opening the road for development of AI systems in order to preserve, search, and deliver cultural heritage. To organize such cultural content also means to classify them, a task that is very familiar to modern computer science. Contextual information is often the key to structure such real world data, and we propose to use it in form of a knowledge graph. Such a knowledge graph, combined with content analysis, enhances the notion of proximity between artworks so it improves the performances in classification tasks. In this paper, we propose a novel use of a knowledge graph, that is constructed on annotated data and pseudo-labeled data. With label propagation, we boost artwork classification by training a model using a graph convolutional network, relying on the relationships between entities of the knowledge graph. Following a transductive learning framework, our experiments show that relying on a knowledge graph modeling the relations between labeled data and unlabeled data allows to achieve state-of-the-art results on multiple classification tasks on a dataset of paintings, and on a dataset of Buddha statues. Additionally, we show state-of-the-art results for the difficult case of dealing with unbalanced data, with the limitation of disregarding classes with extremely low degrees in the knowledge graph.

연구 동기 및 목표

• 문화유산 데이터의 맥락적 관계를 활용하여 예술 작품 분류 성능을 향상시키기 위해 노력한다.
• 문화유물 분류에서 레이블이 부족한 문제를 지식 그래프 구축을 통해 해결하고자 한다.
• 레이블 전파를 통한 전도 학습을 활용하여 불균형 데이터셋에서 모델의 일반화 능력과 성능을 향상시키고자 한다.
• annotation된 데이터와 가짜 레이블이 부여된 데이터를 통합하여 유일한 지식 그래프를 구성함으로써 표현 학습을 향상시키고자 한다.
• 지식 그래프 통합이 표준 지도 학습을 초월하여 GCN 기반 분류 성능을 향상시키는 효과를 평가하고자 한다.

제안 방법

• annotation된 데이터와 가짜 레이블이 부여된 예술 작품 데이터로부터 의미적 및 구조적 관계를 인코딩한 지식 그래프를 구축한다.
• 노드 간의 근접성과 그래프 구조를 활용하여 지식 그래프를 통해 레이블을 전도 학습 방식으로 전파한다.
• 메시지 전달 방식을 사용하여 노드 표현을 개선하기 위해 지식 그래프 기반으로 그래프 컬러리션 네트워크(GCN)를 학습한다.
• 그래프 구조와 노드 임베딩을 기반으로 레이블이 부여된 노드에서 레이블이 없는 노드로 레이블 전파를 수행한다.
• 콘텐츠 특징(예: 시각적 임베딩)과 그래프 기반의 관계적 특징을 통합하여 분류 성능을 향상시킨다.
• 다단계 학습 프로세스를 사용한다: 먼저 레이블이 부여된 데이터로 사전 학습한 후, 그래프 기반의 가짜 레이블을 활용하여 개선한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 데이터와 가짜 레이블이 부여된 데이터로부터 구축된 지식 그래프가 예술 작품 분류 성능 향상에 기여하는가?
• RQ2 지식 그래프를 통해 레이블 전파가 불균형 예술 작품 분류 작업 성능에 어떤 영향을 미치는가?
• RQ3 그래프 연결성은 특히 소수의 클래스에 대해 모델 성능에 어떤 영향을 미치는가?
• RQ4 시각적 특징과 관계 지식을 통합하면 표준 GCN 또는 지도 학습 기반 베이스라인에 비해 더 나은 일반화 성능을 달성하는가?
• RQ5 GCNBoost는 다양한 문화유산 데이터셋에서 최고 수준의 기법들과 비교해 어떤가?

주요 결과

• GCNBoost는 그림과 불상 분류를 포함한 여러 예술 작품 분류 작업에서 최고 성능을 기록한다.
• 지식 그래프에서 유도된 관계적 인도적 편향을 활용함으로써, 불균형 데이터셋에서 분류 정확도가 크게 향상된다.
• 지식 그래프 내도가 매우 낮은 클래스에서는 성능이 저하되며, 이는 그래프 연결성에 민감함을 시사한다.
• 지식 그래프를 통해 레이블 전파가 레이블이 없는 데이터로 지식을 효과적으로 전달하여 일반화 능력을 향상시킨다.
• 지식 그래프에 가짜 레이블 데이터를 통합함으로써 순수 지도 학습 기반 베이스라인에 비해 모델의 강인성과 성능이 향상된다.
• 이 방법은 종교적 및 예술적 그림을 포함한 다양한 문화유산 분야 간에 뛰어난 전이 성능을 보였다.