[논문 리뷰] Choose Your Neuron: Incorporating Domain Knowledge through Neuron-Importance

Ramprasaath R. Selvaraju, Prithvijit Chattopadhyay외 5명|arXiv (Cornell University)|2018. 08. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 5인용 수 5

한 줄 요약

이 논문은 사전 학습된 CNN 내에서 도메인 지식(예: 속성, 캡션)을 주목할 만한 뉴런에 매핑함으로써, 예측된 뉴런 중요도와 일치하도록 분류기 가중치를 최적화함으로써 미학습 클래스에 대한 정확한 분류를 가능하게 하는 제로샷 학습 방법인 뉴런 중요도 인식 가중치 전이(NIWT)를 제안한다. 이 방법은 CUB 및 AWA2 벤치마크에서 최신 기술 수준의 성능을 달성하면서도, 학습된 뉴런 이름과 활성화 맵을 통해 해석 가능한 시각적 및 텍스처적 설명을 제공한다.

ABSTRACT

Individual neurons in convolutional neural networks supervised for image-level classification tasks have been shown to implicitly learn semantically meaningful concepts ranging from simple textures and shapes to whole or partial objects - forming a "dictionary" of concepts acquired through the learning process. In this work we introduce a simple, efficient zero-shot learning approach based on this observation. Our approach, which we call Neuron Importance-AwareWeight Transfer (NIWT), learns to map domain knowledge about novel "unseen" classes onto this dictionary of learned concepts and then optimizes for network parameters that can effectively combine these concepts - essentially learning classifiers by discovering and composing learned semantic concepts in deep networks. Our approach shows improvements over previous approaches on the CUBirds and AWA2 generalized zero-shot learning benchmarks. We demonstrate our approach on a diverse set of semantic inputs as external domain knowledge including attributes and natural language captions. Moreover by learning inverse mappings, NIWT can provide visual and textual explanations for the predictions made by the newly learned classifiers and provide neuron names. Our code is available at https://github.com/ramprs/neuron-importance-zsl.

연구 동기 및 목표

• 라벨이 없는 예측 클래스로 일반화하지 못하는 딥 네트워크의 문제를 해결하기 위해.
• 추상적인 클래스 기술(예: 속성, 캡션)을 딥 네트워크 내에서 의미적으로 유의미하고 해석 가능한 뉴런에 기반시키기 위해.
• 예측된 뉴런 중요도를 바탕으로, 예측된 클래스에 대해 가장 중요하게 여겨지는 뉴런을 식별함으로써, 새로운 클래스에 대한 효과적인 가중치 전이를 가능하게 하기 위해.
• 뉴런 중요도에서 언어 개념으로의 역매핑을 학습함으로써, 예측에 대한 해석 가능한 설명—시각적, 텍스처적, 뉴런 이름 포함—을 제공하기 위해.
• 보통의 클래스와 새로운 클래스를 동시에 평가하는 일반화된 제로샷 학습(GZSL) 설정에서 성능을 향상시키기 위해.

제안 방법

• 본 방법은 본래의 클래스 기반 도메인 지식(예: 속성, 캡션)에서 뉴런 중요도 점수로의 매핑을 학습하며, 본래의 클래스에서 이미지와 해당 지식을 사용한다.
• 뉴런 중요도는 예측된 클래스에 기여하는 뉴런을 식별하기 위해 기울기 기반의 시각화 맵(예: Grad-CAM)을 사용하여 계산된다.
• 학습된 함수 $ W_{a\rightarrow{\cal K}} $ 는 속성 벡터 $ \mathbf{a}_c $ 를 상위-k 관련 뉴런 이름 $ \mathbf{k}_c $ 로 매핑함으로써, 인간의 주석 없이도 자동으로 뉴런 이름을 생성할 수 있도록 한다.
• 새로운 클래스의 경우, 도메인 지식을 사용하여 중요하게 여겨지는 뉴런의 집합을 예측하고, 분류기 가중치를 최적화하여 해당 뉴런이 목표 클래스에 대해 최대 활성화되도록 한다.
• 뉴런 중요도에서 언어 개념으로의 역매핑은 주어진 예측에 대해 가장 관련성이 높은 속성을 검색함으로써 텍스처적 설명을 가능하게 한다.
• 본 방법은 사전 학습된 CNN을 활용하며, 새로운 분류기 헤드만을 미세조정함으로써 효율적이고 이식 가능하다.

실험 결과

연구 질문

• RQ1 속성 또는 자유형 캡션과 같은 도메인 지식이 딥 네트워크 내 개별 뉴런에 효과적으로 매핑되어 제로샷 분류를 가능하게 할 수 있는가?
• RQ2 뉴런 중요도가 언어적 기술과 새로운 클래스의 분류기 가중치 사이의 다리 역할을 할 수 있는가?
• RQ3 예측을 뉴런 수준의 의미론에 기반시킴으로써, 표준 벤치마크에서 제로샷 일반화 성능이 향상되는가?
• RQ4 학습된 매핑이 새로운 클래스에 대한 예측에 대해 신뢰할 수 있고 해석 가능한 설명—시각적, 텍스처적, 뉴런 이름 포함—을 제공할 수 있는가?
• RQ5 기존 방법과 비교해 볼 때, 더 현실적인 일반화된 제로샷 학습(GZSL) 설정에서 이 방법의 성능은 어떠한가?

주요 결과

• NIWT는 CUBirds 및 AWA2 일반화된 제로샷 학습 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법을 능가한다.
• VGG-16 네트워크를 사용하여 CUB에서 상위-k 텍스처적 설명에 실제 속성의 83.9%를 포괄함으로써, 설명 생성의 높은 정밀도를 입증한다.
• 정성적 결과는 Grad-CAM 시각화 및 뉴런 활성화 맵이 예측된 클래스에 해당하는 분류적 속성(예: '빨간 머리', '흰 가슴')에 정확히 집중하고 있음을 보여준다.
• 뉴런 이름은 자동으로 생성되며, 뚜렷한 시각적 개념에 잘 기반되어 있으며, 높은 영향력을 가진 뉴런은 부리, 날개 또는 색상 패치와 같이 특정이고 의미적으로 중요한 영역에서 활성화된다.
• 실패 케이스는 잘못된 비분류적 속성에 초점을 맞추거나 뉴런 활성화가 일치하지 않을 경우에 주로 발생함을 보여주며, 이는 설명이 모델 오류를 진단하는 데 도움이 될 수 있음을 시사한다.
• 뉴런 중요도에서 언어 개념으로의 역매핑은 새로운 클래스 예측에 대한 모델의 추론 과정을 반영하는 신뢰할 수 있는 텍스처적 설명을 가능하게 한다.