[논문 리뷰] Digging Deep into the layers of CNNs: In Search of How CNNs Achieve View Invariance

Amr Bakry, Mohamed Elhoseiny외 2명|arXiv (Cornell University)|2015. 08. 09.

Advanced Neural Network Applications참고 문헌 23인용 수 13

한 줄 요약

이 논문은 CNN 특성 공간 내의 시점 다양체 구조를 정량화하는 방법론을 제안하며, 사전 훈련된 CNN이 대부분의 층에서 시점 다양체 기하학을 유지함을 드러내며, 특히 Pool5에서 뚜렷한 유지 정도를 보인다. 이는 다수의 시점에 대해 관계를 유지하면서도, 다각도 불변성을 달성하기 위해 다각도 다양체를 붕괴시키는 것이 아니라 분리함으로써 달성된다. 자세 학습을 통해 다각도 다양체의 구조가 유지되는 반면, 카테고리 학습을 통해 최종 층에서 다양체가 선으로 붕괴되어 불변성이 향상되며, 이는 DiCarlo & Cox의 다양체 분리 가설을 지지한다. 이는 자세 레이블 없이도 가능하다.

ABSTRACT

This paper is focused on studying the view-manifold structure in the feature spaces implied by the different layers of Convolutional Neural Networks (CNN). There are several questions that this paper aims to answer: Does the learned CNN representation achieve viewpoint invariance? How does it achieve viewpoint invariance? Is it achieved by collapsing the view manifolds, or separating them while preserving them? At which layer is view invariance achieved? How can the structure of the view manifold at each layer of a deep convolutional neural network be quantified experimentally? How does fine-tuning of a pre-trained CNN on a multi-view dataset affect the representation at each layer of the network? In order to answer these questions we propose a methodology to quantify the deformation and degeneracy of view manifolds in CNN layers. We apply this methodology and report interesting results in this paper that answer the aforementioned questions.

연구 동기 및 목표

• 딥 CNN이 학습된 특성 표현에서 어떻게 시점 불변성을 달성하는지 조사하는 것.
• 불변성이 다양체를 붕괴시킴으로써 발생하는지, 아니면 유지하고 분리함으로써 발생하는지 판단하는 것.
• 실험 분석을 통해 CNN 층을 따라 다양체의 구조적 변화를 정량화하는 것.
• 다양한 시점 데이터셋에 대해 사전 훈련된 CNN을 미세조정했을 때 각 층의 표현 구조에 미치는 영향을 분석하는 것.
• 사전 훈련된 CNN이 다양체 구조를 통해 자세 불변성과 자세 추정을 암묵적으로 지원하는지 평가하는 것.

제안 방법

• 저자들은 조건수(rcond) 및 부분공간 차원수와 같은 선형 대수적 측정치를 사용하여 CNN 특성 공간 내의 다양체 변형과 열화 정도를 정량화하는 방법론을 도입한다.
• 선형 SVM, 커널 회귀, KNN을 적용하여 층을 따라 선형 분리 가능성과 다양체 유지 정도를 평가한다.
• RGBD 및 Pascal3D+와 같은 두 개의 다각도 데이터셋을 사용하여 사전 훈련 및 미세조정된 CNN을 대상으로 분석을 수행한다.
• 방법론은 각 층에서의 개별 인스턴스 시점 다양체와 전반적인 물체-시점 다양체 구조를 모두 평가한다.
• 예를 들어 Pool5, FC6, FC8 등의 다양한 층에서의 특성 활성화를 활용하여, 미세조정 전후의 다양체 기하학을 비교한다.
• 다양체 부분공간의 조건수를 활용하여 열화 정도와 선형 분리 가능성의 정도를 측정한다.

실험 결과

연구 질문

• RQ1 학습된 CNN 표현이 시점 불변성을 달성하는가, 만약 그렇다면 어떻게 달성하는가?
• RQ2 시점 불변성은 다양체를 붕괴시킴으로써 달성되는가, 아니면 유지하고 분리함으로써 달성되는가?
• RQ3 사전 훈련된 CNN에서 시점 불변성이 어느 층에서 달성되는가?
• RQ4 딥 CNN의 각 층에서 시점 다양체의 구조를 어떻게 정량적으로 측정할 수 있는가?
• RQ5 사전 훈련된 CNN을 다각도 데이터셋에 대해 미세조정하면 각 층의 표현에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 CNN은 FC6 및 Pool5를 포함한 대부분의 층에서 시점 다양체의 구조를 유지하며, 이는 다각도 학습 없이도 다양체 기하학이 유지됨을 시사한다.
• Pool5 층이 가장 뛰어난 시점 다양체 구조 유지 정도를 보이며, 이는 이전 층들(예: Pool1)보다 우수한 편이다. 이는 이동 및 회전 불변성 향상으로 인한 것으로 보인다.
• 시점 불변성은 다양체를 붕괴시키는 것이 아니라, 개별 인스턴스 다양체를 유지하면서도 분리함으로써 달성된다. 유일한 예외는 최종 FC8 층이다.
• 카테고리 손실에 대해 미세조정하면 FC8에서 선형 분리 가능성은 증가하고, 시점 다양체 부분공간의 차원수가 1로 감소하여 다양체가 선으로 붕괴됨을 나타내며, 이는 완전한 열화는 아니지만 유사한 결과를 보인다.
• 자세 손실에 대해 미세조정하면 다양체 구조 유지 정도가 더 뛰어나지며, 조건수(rcond)가 증가하고 표현이 가설 0(분리된 다양체)에 가까워진다.
• 놀랍게도, 카테고리 미세조정은 FC7, FC6, Pool5에서 자세 추정 성능을 약간 향상시키며, 이는 자세 레이블 없이도 초기 층에서 더 나은 시점 유지가 이루어지고 있음을 시사한다.