[논문 리뷰] Knowledge-Guided Multi-Label Few-Shot Learning for General Image Recognition

Tianshui Chen, Liang Lin외 3명|arXiv (Cornell University)|2020. 09. 20.

Text and Document Classification Technologies인용 수 13

한 줄 요약

이 논문은 다중 레이블 이미지 인식과 소수의 예시 학습을 향상시키기 위해 통계적 레이블 동시 발생 지식을 그래프 구조 신경망에 통합하는 지식 유도 그래프 라우팅(KGGR) 프레임워크를 제안한다. 의미에 따라 유도되는 특징 상호작용을 위한 하나의 그래프 전파 네트워크와 분류기 가중치 전이를 위한 다른 하나의 그래프 전파 네트워크를 사용함으로써, COCO, VOC, Visual Genome 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 저자원 설정에서 mAP가 이전 방법 대비 최대 8.2% 향상되어 뛰어난 성능을 발휘한다.

ABSTRACT

Recognizing multiple labels of an image is a practical yet challenging task, and remarkable progress has been achieved by searching for semantic regions and exploiting label dependencies. However, current works utilize RNN/LSTM to implicitly capture sequential region/label dependencies, which cannot fully explore mutual interactions among the semantic regions/labels and do not explicitly integrate label co-occurrences. In addition, these works require large amounts of training samples for each category, and they are unable to generalize to novel categories with limited samples. To address these issues, we propose a knowledge-guided graph routing (KGGR) framework, which unifies prior knowledge of statistical label correlations with deep neural networks. The framework exploits prior knowledge to guide adaptive information propagation among different categories to facilitate multi-label analysis and reduce the dependency of training samples. Specifically, it first builds a structured knowledge graph to correlate different labels based on statistical label co-occurrence. Then, it introduces the label semantics to guide learning semantic-specific features to initialize the graph, and it exploits a graph propagation network to explore graph node interactions, enabling learning contextualized image feature representations. Moreover, we initialize each graph node with the classifier weights for the corresponding label and apply another propagation network to transfer node messages through the graph. In this way, it can facilitate exploiting the information of correlated labels to help train better classifiers. We conduct extensive experiments on the traditional multi-label image recognition (MLR) and multi-label few-shot learning (ML-FSL) tasks and show that our KGGR framework outperforms the current state-of-the-art methods by sizable margins on the public benchmarks.

연구 동기 및 목표

• 기존 방법이 다중 레이블 이미지 인식에서 명시적인 레이블 간 의존성을 모델링하는 데에 한계를 보이고 있으며, 소수의 예시 카테고리로 일반화하는 데에 어려움을 겪는 문제를 해결하기 위해.
• 딥 신경망에 통계적 레이블 동시 발생 지식을 통합하여 특징 및 분류기 학습을 향상시키기 위해.
• 그래프 기반 메시지 전파를 통해 관련 레이블 정보를 활용하여 각 카테고리의 대규모 학습 세트에 대한 의존도를 줄이기 위해.
• 표준 다중 레이블 인식과 소수의 예시 시나리오 모두에서 성능을 향상시키기 위해 의미적 특징 학습과 분류기 지식 전이를 통합하기 위해.

제안 방법

• 통계적 레이블 동시 발생 빈도를 기반으로 지식 그래프를 구축하여 카테고리 간 사전 상관관계를 모델링한다.
• 카테고리 의미를 사용하여 관련 의미 영역에 특징 학습을 집중시키는 의미적으로 유도된 어텐션 모듈을 도입한다.
• 그래프 신경망을 사용하여 노드 간 특징을 전파하고 집계함으로써 각 카테고리의 맥락 기반 표현을 학습한다.
• 그래프 노드를 분류기 가중치로 초기화하고, 관련된 레이블 간 정보 전달을 위해 두 번째 그래프 전파 네트워크를 적용한다.
• 다중 레이블 존재 확률을 예측하기 위해 교차 엔트로피 손실을 사용하여 모델을 훈련한다.
• 두 단계의 메시지 전파를 적용한다: 하나는 표현 학습을 위한 특징 공간에서, 다른 하나는 분류기 정밀화를 위한 의미 공간에서.

실험 결과

연구 질문

• RQ1 레이블 동시 발생에 대한 사전 지식이 다중 레이블 이미지 인식에서 특징 표현 학습을 향상시킬 수 있는가?
• RQ2 그래프 기반 메시지 전파가 자원이 제한된(소수의 예시) 카테고리의 분류기 학습을 어떻게 향상시킬 수 있는가?
• RQ3 의미적으로 유도된 어텐션은 다중 레이블 이미지에서 관련 객체 영역의 국소화를 얼마나 향상시키는가?
• RQ4 지식 유도 그래프 라우팅이 다중 레이블 시나리오에서 레이블 의존성의 순차적 모델링을 위한 RNN 기반 접근 방식보다 우수한가?
• RQ5 레이블 상관관계 지식의 통합이 각 카테고리에 대한 대규모 학습 세트 의존도를 줄일 수 있는가?

주요 결과

• KGGR 프레임워크는 Microsoft COCO 데이터셋에서 평균 평균 정밀도(mAP) 84.3%를 달성하여 이전 최신 기술 수준보다 2.1%포인트 높은 성능을 보였다.
• 1-shot 및 5-shot 소수의 예시 학습 설정에서 각각 mAP 52.3%와 63.5%를 기록하여 이전 방법 대비 8.2% 및 7.5% 향상되었다.
• 의미적으로 유도된 어텐션 모듈을 제거하면 mAP가 80.9%로 떨어지며, 이는 해당 모듈이 관련 의미 영역에 집중하는 데서 중요한 역할을 한다는 것을 입증한다.
• 지식 통합 특징 전파를 제거하면 COCO에서 mAP가 2.1% 감소하며, 이는 맥락 기반 특징 학습에 기여한다는 것을 확인한다.
• 교차 엔트로피 손실을 유클리드 손실로 대체하면 mAP가 84.3%에서 79.2%로 감소하여, 교차 엔트로피가 다중 레이블 분류에 더 효과적임을 보여준다.
• 그래프 의미 전파 구성 요소는 기여도가 크며, 제거 시 COCO에서 mAP가 84.3%에서 83.8%로 감소하고, 1-shot 소수의 예시 학습에서는 52.3%에서 50.4%로 감소한다.