[논문 리뷰] When and how do CNNs generalize to out-of-distribution category-viewpoint combinations?

Spandan Madan, Timothy Henry외 7명|arXiv (Cornell University)|2020. 07. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 84인용 수 6

한 줄 요약

이 논문은 합성곱 신경망(CNNs)이 분포 외(out-of-distribution, OOD) 객체 카테고리-시점 조합으로 일반화되는 시점과 방식을 조사한다. 연구 결과, 내부 분포(in-distribution) 데이터의 다양성이 증가할수록 OOD 일반화가 향상되며, 공유 네트워크보다 별도의 네트워크가 OOD 성능을 떨어뜨리는 것으로 나타났다. 또한 OOD 일반화의 핵심 메커니즘은 신경 전문화(neural specialization)이며, 이는 뉴런이 카테고리 또는 시점 중 하나에만 선택적으로 반응하면서 다른 모odalities에 대해 불변성을 유지하는 방식임을 규명했다.

ABSTRACT

Object recognition and viewpoint estimation lie at the heart of visual understanding. Recent works suggest that convolutional neural networks (CNNs) fail to generalize to out-of-distribution (OOD) category-viewpoint combinations, ie. combinations not seen during training. In this paper, we investigate when and how such OOD generalization may be possible by evaluating CNNs trained to classify both object category and 3D viewpoint on OOD combinations, and identifying the neural mechanisms that facilitate such OOD generalization. We show that increasing the number of in-distribution combinations (ie. data diversity) substantially improves generalization to OOD combinations, even with the same amount of training data. We compare learning category and viewpoint in separate and shared network architectures, and observe starkly different trends on in-distribution and OOD combinations, ie. while shared networks are helpful in-distribution, separate networks significantly outperform shared ones at OOD combinations. Finally, we demonstrate that such OOD generalization is facilitated by the neural mechanism of specialization, ie. the emergence of two types of neurons -- neurons selective to category and invariant to viewpoint, and vice versa.

연구 동기 및 목표

• CNN이 분포 외(OOD) 카테고리-시점 조합으로 일반화될 수 있는 조건을 이해한다.
• 특히 카테고리와 시점을 위한 공유 대비 별도의 네트워크 구조적 선택이 OOD 일반화에 미치는 영향을 조사한다.
• OOD 일반화를 가능하게 하는 신경 기제, 특히 뉴런 반응의 전문화를 특정한다.
• 내부 분포 조합의 자료 다양성이 OOD 일반화 성능 향상에 미치는 역할을 분석한다.
• 카테고리와 시점을 동시에 학습시키는 것이 예측되지 않은 조합으로의 일반화에 해로운지 유리한지를 규명한다.

제안 방법

• 내부 분포 객체 카테고리-시점 조합의 다양한 세트로 CNN을 훈련하여 OOD 조합으로의 일반화를 연구한다.
• 내부 분포 및 OOD 조합에서 별도 네트워크(카테고리용, 시점용)와 공유 네트워크(공동 훈련)의 성능을 비교한다.
• 총 훈련 데이터 크기를 일정하게 유지하면서 내부 분포 조합의 수를 체계적으로 변화시켜 자료 다양성의 영향을 분리한다.
• 뉴런 수준의 활성화를 분석하여 전문화를 규명한다: 어떤 뉴런은 시점과 무관하게 카테고리에만 선택적으로 반응하고, 반대로 다른 뉴런은 카테고리에 무관하게 시점에만 선택적으로 반응한다.
• 활성화 기반 분석을 통해 다양한 아키텍처에서 학습된 특징의 불변성과 선택성 정도를 정량화한다.
• 보류된 OOD 카테고리-시점 쌍에서 일반화 성능을 평가하여 제로샷 전이 성공도를 측정한다.

실험 결과

연구 질문

• RQ1 총 훈련 데이터 크기를 일정하게 유지하면서 내부 분포 카테고리-시점 조합의 수를 늘릴 경우, OOD 조합으로의 일반화가 향상되는가?
• RQ2 카테고리 및 3D 시점에 대해 별도 네트워크 대비 공유 네트워크 아키텍처가 OOD 일반화 성능에 어떤 영향을 미치는가?
• RQ3 CNN에서 성공적인 OOD 일반화를 이끌어내는 데 기여하는 신경 기제는 무엇인가?
• RQ4 카테고리 또는 시점에 독립적으로 선택적으로 반응하는 전문화된 뉴런이 OOD 일반화를 어느 정도 촉진하는가?
• RQ5 구조적 수정 없이 자료 다양성만으로도 OOD 일반화가 가능할 수 있는가?

주요 결과

• 내부 분포 카테고리-시점 조합의 수를 늘릴수록 OOD 조합으로의 일반화가 유의미하게 향상되며, 총 훈련 데이터 크기를 일정하게 유지하더라도 마찬가지다.
• 카테고리 및 시점에 대해 별도의 네트워크를 사용할 경우, 공유 네트워크보다 OOD 조합에서 성능이 뛰어나지만, 공유 네트워크는 내부 분포 데이터에서는 더 우수한 성능를 보인다.
• OOD 일반화는 신경 전문화에 의해 강력하게 촉진되며, 이는 특정 뉴런이 카테고리 또는 시점 중 하나에만 선택적으로 반응하면서 다른 모달리티에 대해 불변성을 유지하는 방식이다.
• 시점에 불변인 카테고리 선택성 뉴런과 카테고리에 불변인 시점 선택성 뉴런의 등장이 OOD 일반화를 가능하게 하는 핵심 메커니즘이다.
• 공유 아키텍처는 카테고리와 시점 표현 학습 간 간섭으로 인해 OOD 일반화를 저해한다.
• 구조적 변경 없이도 자료 다양성만으로도 의미 있는 OOD 일반화가 가능함을 확인하였으며, 이는 자료 코어닝이 강력한 시각 이해를 위한 핵심 요소임을 시사한다.