[논문 리뷰] Can Deep Neural Networks Match the Related Objects?: A Survey on ImageNet-trained Classification Models

Han S. Lee, Heechul Jung외 2명|arXiv (Cornell University)|2017. 09. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 6

한 줄 요약

이 논문은 인공지능 분류 성능이 우수한 ImageNet으로 훈련된 딥 네ural 네트워크(DNNs)가 물체 클래스 간의 의미적 유사성 관계를 인식할 수 있는지, 인지심리학적 실험을 기반으로 조사한다. 연구 결과, DNNs는 시각적 유사성에 기반한 관련성(예: 원숭이와 판다)을 잘 탐지하지만, 기능적 관계에 기반한 관련성(예: 원숭이와 바나나)은 실패함을 확인하여, 분류 정확도를 넘어서는 개념적 이해의 핵심적 한계를 드러낸다.

ABSTRACT

Deep neural networks (DNNs) have shown the state-of-the-art level of performances in wide range of complicated tasks. In recent years, the studies have been actively conducted to analyze the black box characteristics of DNNs and to grasp the learning behaviours, tendency, and limitations of DNNs. In this paper, we investigate the limitation of DNNs in image classification task and verify it with the method inspired by cognitive psychology. Through analyzing the failure cases of ImageNet classification task, we hypothesize that the DNNs do not sufficiently learn to associate related classes of objects. To verify how DNNs understand the relatedness between object classes, we conducted experiments on the image database provided in cognitive psychology. We applied the ImageNet-trained DNNs to the database consisting of pairs of related and unrelated object images to compare the feature similarities and determine whether the pairs match each other. In the experiments, we observed that the DNNs show limited performance in determining relatedness between object classes. In addition, the DNNs present somewhat improved performance in discovering relatedness based on similarity, but they perform weaker in discovering relatedness based on association. Through these experiments, a novel analysis of learning behaviour of DNNs is provided and the limitation which needs to be overcome is suggested.

연구 동기 및 목표

• ImageNet으로 훈련된 DNNs가 물체 클래스 간의 의미적 관련성을 인식할 수 있는지 조사하기.
• 의미적으로 유사하거나 상호작용하는 물체 클래스 간의 관계를 학습하는 데 있어 DNNs의 한계 분석하기.
• 의미적 관련성 데이터셋(관련 및 비관련 물체 쌍 포함)에서 DNN의 성능 평가하기.
• 두 가지 유형의 관련성, 즉 유사성 기반(공통된 시각적 또는 계층적 특징)과 연관성 기반(기능적 또는 맥락적 상호작용)을 구분하기.

제안 방법

• 인지심리학 데이터셋의 쌍화된 이미지에 사전 훈련된 ImageNet DNNs(예: ResNet)를 적용하여 관련 및 비관련 물체 쌍 포함.
• DNN의 마지막 합성곱층에서 특징 임베딩을 추출하고, 쌍 간의 코사인 유사도를 측정하여 관련성 평가.
• 관련 쌍 간의 코사인 유사도가 비관련 쌍보다 높을 경우를 '매칭된' 것으로 분류.
• ImageNet 분류 실패 사례를 바탕으로 DNNs가 클래스 간 의미적 관계를 완전히 학습하지 못할 것이라는 가설 수립.
• DNN의 추론 패턴을 파악하기 위해 '가장 잘 매칭된' 및 '가장 못한' 케이스에 대한 정성적 및 정량적 분석 수행.
• 유사성 기반 관련성과 연관성 기반 관련성 간의 DNN 성능 비교를 통해 의미적 이해의 깊이 평가.

실험 결과

연구 질문

• RQ1 ImageNet으로 훈련된 DNNs는 물체 클래스 간의 의미적 관련성을 효과적으로 판단할 수 있는가?
• RQ2 DNN의 관련성 매칭 성능은 ImageNet 분류 정확도와 상관관계가 있는가?
• RQ3 DNNs는 물체 쌍 간의 유사성 기반 및 연관성 기반 관련성을 구분할 수 있는가?
• RQ4 왜 DNNs는 외관 유사성 외에 상호작용 또는 맥락에 기반한 의미적 관련성이 있는 물체 쌍(예: 원숭이와 바나나)을 매칭하지 못하는가?
• RQ5 DNNs는 클래스 수준의 분류를 넘어서 의미적 관계를 어느 정도 학습하는가?

주요 결과

• DNNs는 특히 시각적 유사성 외에 기능적 연관성에 기반한 관련성에 대해 제한된 성능을 보이며, 물체 클래스 간의 관련성을 인식하는 데 어려움을 겪는다.
• DNNs의 관련성 매칭 성능는 일반적으로 ImageNet 분류 정확도에 비례하며, 이는 의미적 관계를 간접적으로 학습하고 있음을 시사한다.
• 공통된 시각적 또는 계층적 특징 덕분에 DNNs는 유사성 기반 관련성(예: 원숭이와 판다)을 효과적으로 탐지할 수 있다.
• 기능적 상호작용이나 맥락에 기반한 연관성 기반 관련성(예: 원숭이와 바나나)에 대해 DNNs는 심각한 어려움을 겪는다.
• '가장 못한' 매칭 케이스는 항상 연관성 기반 쌍을 포함하며, 이는 DNNs가 맥락적 또는 기능적 관계를 모델링하는 데 근본적인 격차가 있음을 시사한다.
• 연관성 기반 관련성을 학습하지 못하는 것은 현재 DNNs의 훈련 목표가 시각적 구분을 넘어서 개념적 추론을 충분히 장려하지 않는다는 점을 암시한다.