[논문 리뷰] The More You Know: Using Knowledge Graphs for Image Classification

Kenneth Marino, Ruslan Salakhutdinov외 1명|arXiv (Cornell University)|2016. 12. 14.

Multimodal Machine Learning Applications참고 문헌 34인용 수 25

한 줄 요약

이 논문은 구조적 사전 지식을 활용하여 대규모 지식 그래프를 이미지 분류에 효율적으로 통합하는 엔드 투 엔드 딥 러닝 아키텍처인 그래프 서치 신경망(GSNN)을 소개한다. GSNN은 지식 그래프의 의미적 관계를 추론하여 다중 레이블 이미지 분류 성능을 향상시키며, 주목사의 전파 분석을 통해 해석 가능한 예측을 가능하게 하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One characteristic that sets humans apart from modern learning-based computer vision algorithms is the ability to acquire knowledge about the world and use that knowledge to reason about the visual world. Humans can learn about the characteristics of objects and the relationships that occur between them to learn a large variety of visual concepts, often with few examples. This paper investigates the use of structured prior knowledge in the form of knowledge graphs and shows that using this knowledge improves performance on image classification. We build on recent work on end-to-end learning on graphs, introducing the Graph Search Neural Network as a way of efficiently incorporating large knowledge graphs into a vision classification pipeline. We show in a number of experiments that our method outperforms standard neural network baselines for multi-label classification.

연구 동기 및 목표

• 딥 러닝 모델에 구조적 세계 지식을 통합하여 시각 인식에서 긴 꼬리 분포 문제를 해결하기 위해.
• 시각 작업에서 대규모 지식 그래프에 적용할 때 기존 그래프 신경망의 계산적 한계를 극복하기 위해.
• 지식 그래프를 사용하여 시각적 개념 간의 의미적 관계를 추론하는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 지식 그래프를 따라 정보 흐름을 추적함으로써 이미지 분류의 해석 가능성을 제공하기 위해.
• 노이즈가 있는 실제 세계 지식 그래프가 시각 인식에 효과적으로 활용될 수 있음을 보여주기 위해.

제안 방법

• 시각 작업에서 대규모 지식 그래프에 대한 효율적 추론을 위해 설계된 게이트드 그래프 신경망 변종인 그래프 서치 신경망(GSNN)을 제안한다.
• 이미지 특징을 사용하여 관련 서브그래프를 동적으로 선택하고 애너테이션을 추가함으로써 이미지 콘텐츠와 관련된 노드와 간선에 집중한다.
• 다양한 유형의 관계(예: '착용 중', '위에', '고국')를 구분하는 전파 메커니즘을 도입하여 노드 표현을 정밀하게 개선한다.
• 이미지 특징에 기반하여 지식 그래프에서 핵심 노드와 간선을 선택하는 미분 가능한 검색 메커니즘을 도입하여 계산 비용을 감소시킨다.
• 백프로파게이션을 사용하여 전체 시스템을 엔드 투 엔드로 훈련함으로써 시각적 특징과 그래프 추론을 함께 최적화할 수 있도록 한다.
• 그래프의 은닉 상태에 대한 출력 클래스의 기울기를 계산하여 예측을 설명하기 위해 민감도 분석을 사용한다.

실험 결과

연구 질문

• RQ1 대규모 지식 그래프의 구조적 지식이 다중 레이블 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 대규모 지식 그래프는 어떻게 시각 작업의 딥 러닝 파이프라인에 효율적으로 통합될 수 있는가?
• RQ3 그래프 신경망은 의미적 관계를 따라 정보 흐름을 추적함으로써 예측을 해석 가능한가?
• RQ4 지식 그래프에 노이즈나 불완전한 관계가 포함되어 있을 경우 모델의 성능은 어떻게 되는가?
• RQ5 어떤 유형의 시각적 개념이 그래프 기반 추론에서 가장 큰 이점을 얻는가, 그리고 그 이유는 무엇인가?

주요 결과

• GSNN은 희귀하거나 긴 꼬리 시각적 개념에서 표준 신경망 베이스라인보다 뚜렷하게 뛰어난 성능을 보이며, 다중 레이블 이미지 분류에서 뛰어난 성능을 발휘한다.
• 모델은 지식 그래프 내 시각적 개념 간의 의미적 관계(예: '착용 중', '위에')를 활용함으로써 분류 정확도를 향상시킨다.
• 민감도 분석을 통해 GSNN은 예측에 영향을 주는 관련 지식 그래프 노드(예: '기린'에 대해 '트렁크', '사람'에 대해 '청바지')를 정확히 식별함을 확인하였다.
• 지식 그래프에 핵심 관계가 누락되었을 경우(예: '버스' → '윈도우 실') 실패 사례가 발생함을 확인하였으며, 이는 성능이 그래프의 완전성에 의존함을 시사한다.
• 노이즈가 있는 지식 그래프에 대해서도 모델은 효과적으로 관련 서브그래프를 필터링하고 추론에 활용함으로써 강건성을 보였다.
• GSNN은 최종 분류에 기여한 그래프 노드와 관계를 강조함으로써 예측의 해석 가능성을 제공한다.