[논문 리뷰] Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition

Tianshui Chen, Liang Lin외 3명|ArXiv.org|2018. 07. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 10

한 줄 요약

이 논문은 지식 그래프를 활용하여 세분화된 특성(attribute)을 깊이 있는 신경망에 통합하는 새로운 프레임워크인 지식 통합 표현 학습(KERL)을 제안한다. 이는 게이트드 그래프 신경망(Gated Graph Neural Network)과 게이트드 융합 메커니즘을 통해 이루어지며, 이미지 특징을 그래프 내 특정 특성과 정렬함으로써 Caltech-UCSD Birds-200-2011 데이터셋에서 최신 기술 수준(SOTA)의 정확도 86.6%를 달성한다. 이는 핵심 특성에 대응하는 구분 가능한 부분을 강조하는 특징 맵을 생성한다.

ABSTRACT

Humans can naturally understand an image in depth with the aid of rich knowledge accumulated from daily lives or professions. For example, to achieve fine-grained image recognition (e.g., categorizing hundreds of subordinate categories of birds) usually requires a comprehensive visual concept organization including category labels and part-level attributes. In this work, we investigate how to unify rich professional knowledge with deep neural network architectures and propose a Knowledge-Embedded Representation Learning (KERL) framework for handling the problem of fine-grained image recognition. Specifically, we organize the rich visual concepts in the form of knowledge graph and employ a Gated Graph Neural Network to propagate node message through the graph for generating the knowledge representation. By introducing a novel gated mechanism, our KERL framework incorporates this knowledge representation into the discriminative image feature learning, i.e., implicitly associating the specific attributes with the feature maps. Compared with existing methods of fine-grained image classification, our KERL framework has several appealing properties: i) The embedded high-level knowledge enhances the feature representation, thus facilitating distinguishing the subtle differences among subordinate categories. ii) Our framework can learn feature maps with a meaningful configuration that the highlighted regions finely accord with the nodes (specific attributes) of the knowledge graph. Extensive experiments on the widely used Caltech-UCSD bird dataset demonstrate the superiority of our KERL framework over existing state-of-the-art methods.

연구 동기 및 목표

• 기존의 세분화된 인식 방법이 저수준의 시각적 단서에만 의존하고 구조화된 고수준 지식을 활용하지 못하는 한계를 해결하기 위해.
• 전문 지식(예: 부위 수준의 특성 및 카테고리 간 관계)이 깊이 있는 신경망에 체계적으로 통합되어 특징 학습이 향상될 수 있는 방법을 탐색하기 위해.
• 지식 그래프 내 관련 특성과 정확히 대응하는 영역이 강조되는 해석 가능한 특성 맵을 생성하는 프레임워크를 개발하기 위해.
• 지식 통합이 세분화된 분류 작업에 더 강건하고 일반화 가능한 표현을 제공하는지 입증하기 위해.

제안 방법

• Caltech-UCSD Birds 데이터셋 기반으로 새 종류 간 관계와 부위 수준 특성(예: '날개: 반짝이는', '머리: 마스크형')을 모델링하는 대규모 지식 그래프를 구축한다.
• 지식 그래프 내 노드 간 메시지 전파를 위해 게이트드 그래프 신경망(GGNN)을 활용하여 맥락화된 지식 표현을 생성한다.
• 학습된 지식 표현을 사용해 컨볼루션 특징 맵을 동적으로 조절하는 새로운 게이트드 메커니즘을 도입하여 특성 기반 특징 학습을 가능하게 한다.
• 이미지 특징과 지식 표현의 게이트드 융합을 통해 의미론적으로 유의미한 특징 맵을 생성하며, 이는 의미적 특성과 정렬된다.
• 지식 그래프를 인덕티브 바이어스로 활용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드 모델을 훈련시킨다.
• 전역 평균 풀링 이전의 특징 맵을 시각화하여 공간적 주의 패턴을 분석하고 지식 그래프에 통합된 특성와의 정렬 여부를 검증한다.

실험 결과

연구 질문

• RQ1 저수준의 시각적 단서 외에 구조화된 부위 수준 특성 지식을 활용할 경우, 원시 이미지로부터의 엔드 투 엔드 학습을 초월해 세분화된 이미지 인식 성능이 향상될 수 있는가?
• RQ2 색상, 형태, 무늬 등의 고수준 시각적 개념이 세분화된 분류 작업을 위해 깊이 있는 신경망 내에서 효과적으로 인코딩되고 활용될 수 있는가?
• RQ3 지식 통합이 관련 신체 부위를 강조하는 더 해석 가능하고 의미론적으로 유의미한 특징 맵을 생성하는가?
• RQ4 특성 연결 또는 자기 지도형 주의 메커니즘과 같은 다른 지식 통합 전략과 비교해 본다면, 제안된 KERL 프레임워크는 어떤 성능을 보이는가?
• RQ5 시각적으로 유사한 하위 카테고리 간 구분에 핵심적인 특성이 중요한 경우, 이 프레임워크는 일반화 가능한가?

주요 결과

• KERL은 'bird in bbox' 설정에서 86.6%의 정확도를 기록했으며, 'bird in image' 설정에서는 86.3%를 달성하여 기준 모델인 CB-CNN(84.6% 및 85.0%)을 초월한다.
• GGNN를 생략한 자기 지도형 특징 선택 기준 모델은 각각 84.8% 및 85.3%에 머물러 있어, 성능 향상에 있어 지식 통합의 필수성을 시사한다.
• 지식 그래프 특징와의 특징 연결은 각각 85.4% 및 85.5%의 성능을 기록하여, KERL의 게이트드 융합 메커니즘에 비해 단순 융합 전략은 부족함을 보인다.
• 시각화 결과에 따르면 KERL은 특성 기반 특징 맵을 학습한다: 'Sayornis'의 경우 항상 목과 날개 부분이 강조되며, 이는 '목: 베이지 및 흰색'과 '날개: 베이지 및 갈색'에 해당한다.
• 반면 기준 모델인 CB-CNN는 산산이 흩어지거나 배경에 위치한 활성화를 보이며, 관련 특성와 의미론적 정렬이 이루어지지 않는다.
• 강조된 영역이 지식 그래프 내 핵심 구분 특성을 정의하는 노드와 정확히 일치함으로써, 이 프레임워크의 해석 가능성은 더욱 향상된다.