[논문 리뷰] PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks

Xueli Xiao, Chunyan Ji외 2명|arXiv (Cornell University)|2020. 09. 24.

Advanced Graph Neural Networks참고 문헌 41인용 수 4

한 줄 요약

이 논문은 검증 데이터의 오분류 패턴에서 유도된 클래스 유사성 지식을 주입함으로써 이미지 분류 성능을 향상시키는 그래프 컬러지 퍼셉트 네트워크 프레임워크인 PK-GCN을 제안한다. 검증 세트 예측 결과로부터 방향성 오분류 그래프를 구성하고, 이를 두 단계의 훈련 과정을 통해 CNN 특징과 융합함으로써, PK-GCN은 분류 정확도를 향상시킨다. 특히 저자료 환경에서 성능 향상이 두드러지며, CIFAR-10에서는 최대 2.55%p의 절대적 향상과 MNIST에서는 제한된 훈련 데이터로 1.56%p의 향상을 기록한다.

ABSTRACT

Deep learning has gained great success in various classification tasks. Typically, deep learning models learn underlying features directly from data, and no underlying relationship between classes are included. Similarity between classes can influence the performance of classification. In this article, we propose a method that incorporates class similarity knowledge into convolutional neural networks models using a graph convolution layer. We evaluate our method on two benchmark image datasets: MNIST and CIFAR10, and analyze the results on different data and model sizes. Experimental results show that our model can improve classification accuracy, especially when the amount of available data is small.

연구 동기 및 목표

• 딥 러닝 모델에 상호 클래스 유사성 지식을 통합하여 다중 클래스 이미지 분류 정확도를 향상시키기.
• 기본적인 CNN 모델이 훈련 과정에서 클래스 간 관계를 忽시하는 한계를 해결하기.
• 외부 지식이나 사전 학습된 임bedding에 의존하지 않고, 데이터 자체에서 클래스 유사성을 추출하는 방법을 개발하기.
• 다양한 데이터 및 모델 크기에서 사전 지식 통합의 효과를 평가하여 최적의 적용 시나리오를 규명하기.
• 클래스 유사성 정보가 특히 훈련 데이터가 부족한 상황에서 모델 성능을 크게 향상시킬 수 있음을 입증하기.

제안 방법

• 검증 세트 예측 결과로부터 방향성 오분류 그래프를 구성하며, 간선은 한 클래스가 다른 클래스로 오분류되는 빈도를 나타낸다.
• 훈련된 기본 CNN 모델을 사용해 최종 완전 연결 층의 가중치에서 클래스 임베딩을 추출하며, 각 클래스의 학습된 특징 표현을 나타낸다.
• 오분류 그래프를 그래프 구조로 사용하여 그래프 컬러지 네트워크(GCN) 레이어를 적용해 클래스 임베딩을 전파하고 개선한다.
• 두 단계 훈련 과정을 구현한다: 먼저 기본 CNN을 사전 훈련하고, 이후 기존 CNN 출력과 GCN 처리된 클래스 유사성 특징을 융합하여 모델을 미세 조정한다.
• 학습 가능한 가중치 조합을 사용해 원본 모델의 로짓과 GCN 예측 로짓을 융합하여 최종 분류 점수를 향상시킨다.
• 모든 실험에서 일관된 초모델 설정을 유지하기 위해 AdaDelta 옵timizer를 사용해 전체 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 오분류 패턴에서 추출한 클래스 유사성 지식을 통합함으로써 저자료 환경에서 이미지 분류 정확도를 향상시킬 수 있는가?
• RQ2 그래프 기반으로 학습한 클래스 관계 통합이 다양한 데이터 및 모델 크기에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 훈련 데이터가 제한된 상황에서 제안된 방법이 표준 CNN보다 우수한가, 그리고 얼마나 더 우수한가?
• RQ4 PK-GCN의 성능 향상이 다양한 아키텍처(예: 간단한 CNN 대 VGG-11) 및 데이터셋(예: MNIST 대 CIFAR-10) 간 일관된가?
• RQ5 외부 의미 임베딩에 의존하지 않는 데이터 기반, 자가 포함형 클래스 유사성 학습 방법이 외부 의미 임베딩에 의존하는 기존 방법보다 우수한가?

주요 결과

• 300개의 샘플만으로 훈련할 경우, MNIST에서 PK-GCN은 최대 1.56%p의 정확도 향상을 기록하며, 저자료 조건에서 두드러진 성능 향상을 입증한다.
• CIFAR-10에서 PK-GCN-2는 단지 1,000개의 샘플로 훈련했을 때 기반 VGG-11 모델 대비 2.55%p의 절대 정확도 향상을 기록한다.
• 성능 향상은 특히 작은 훈련 세트에서 두드러지며, 이는 PK-GCN이 데이터 부족 문제를 효과적으로 완화함을 시사한다.
• PK-GCN은 다양한 모델 아키텍처와 데이터셋에서 일관되게 정확도를 향상시키며, 기반 모델이 이미 강력한 경우에도 성능 향상이 관찰된다.
• 두 단계 훈련 전략은 학습된 특징과 클래스 관계 정보를 효과적으로 활용하며, 모든 설정에서 PK-GCN-2가 PK-GCN-1보다 일반적으로 뛰어난 성능을 보인다.
• 다양한 데이터 분할 및 모델 깊이에서 성능 향상이 안정적으로 유지되며, 이는 다양한 데이터 및 아키텍처 구성 조건에서도 접근법의 강건성을 확인한다.