[논문 리뷰] Understanding deep features with computer-generated imagery

Mathieu Aubry, Bryan Russell|arXiv (Cornell University)|2015. 06. 03.

3D Surveying and Cultural Heritage인용 수 34

한 줄 요약

이 논문은 3D CAD 모델에서 생성된 제어 가능한 컴퓨터 생성 영상(CGI)을 사용하여 합성곱 신경망(CNN)이 시점, 스타일, 색상과 같은 연속적인 시점 요소를 어떻게 표현하는지 분석하는 방법을 제안한다. 인자 분해와 주성분 분석(PCA)을 통해 요소들을 체계적으로 변화시키고 CNN 특징 반응을 분석함으로써, 다양한 네트워크(AlexNet, VGG, Places)와 계층에서 각 요소의 상대적 중요도를 정량화한다. 그 결과, 높은 계층일수록 시점에 대해 덜 민감해지고, Places CNN에서는 색상이 AlexNet이나 VGG보다 더 두드러진 역할을 한다는 것이 드러났다.

ABSTRACT

We introduce an approach for analyzing the variation of features generated by convolutional neural networks (CNNs) with respect to scene factors that occur in natural images. Such factors may include object style, 3D viewpoint, color, and scene lighting configuration. Our approach analyzes CNN feature responses corresponding to different scene factors by controlling for them via rendering using a large database of 3D CAD models. The rendered images are presented to a trained CNN and responses for different layers are studied with respect to the input scene factors. We perform a decomposition of the responses based on knowledge of the input scene factors and analyze the resulting components. In particular, we quantify their relative importance in the CNN responses and visualize them using principal component analysis. We show qualitative and quantitative results of our study on three CNNs trained on large image datasets: AlexNet, Places, and Oxford VGG. We observe important differences across the networks and CNN layers for different scene factors and object categories. Finally, we demonstrate that our analysis based on computer-generated imagery translates to the network representation of natural images.

연구 동기 및 목표

• 3D 시점, 물체 스타일, 색상, 조명 설정과 같은 연속적인 시점 요소가 깊은 CNN에 어떻게 인코딩되는지 이해한다.
• 자연 이미지 데이터에서 CNN 특징에 영향을 미치는 개별 시점 요소를 분리하고 측정하는 데 도전한다.
• 시점 요소를 정밀하게 제어할 수 있는 컴퓨터 생성 영상(CGI)을 활용하여 체계적인 분석 프레임워크를 개발한다.
• 다양한 CNN 아키텍처(AlexNet, VGG, Places)와 계층 간의 특징 민감도를 비교하여 표현 방식의 아키텍처적 및 계층적 차이를 밝힌다.
• CGI 기반 분석의 통찰이 실제 자연 이미지로도 의미 있게 전이됨을 보여주며, 2D-3D 검색 및 스타일/포즈 매칭과 같은 응용 가능성을 제시한다.

제안 방법

• ModelNet 등 큰 3D CAD 모델 데이터베이스를 활용하여 시점 요소에 제어 가능한 변형을 가진 합성 영상을 렌더링한다.
• 렌더링 중에 한 개 이상의 요소(시점, 스타일, 색상, 조명)를 변화시키면서 다른 요소는 고정한다.
• 렌더링된 영상을 사전 훈련된 CNN(AlexNet, VGG, Places)에 입력하고 여러 계층의 특징 반응을 추출한다.
• 알려진 입력 요소 기반으로 특징 반응의 인자 분해를 수행하여 총 분산에 기여하는 상대 기여도를 정량화한다.
• 주성분 분석(PCA)을 사용하여 분해된 성분을 시각화하여 특징 표현의 구조를 해석한다.
• CGI에서 발견한 인자 공간에 자연 이미지 특징(ImageNet, ETH-80)을 투영하여 발견의 전이 가능성 평가

실험 결과

연구 질문

• RQ1 3D 시점, 물체 스타일, 색상과 같은 다양한 시점 요소가 CNN 특징 맵의 표현에 어떻게 기여하는가?
• RQ2 CNN 특징이 이러한 요소에 대해 민감도가 다양한 네트워크 아키텍처(AlexNet, VGG, Places)와 계층 간에 어떻게 변화하는가?
• RQ3 CGI에서 학습한 특징 표현이 실제 자연 이미지로 일반화되는 정도는 어느 정도인가?
• RQ4 CNN 특징을 요소별 구성요소로 분해함으로써 계층 간의 계층적 불변성 또는 민감도 패턴을 드러낼 수 있는가?
• RQ5 CGI 기반 분석이 자연 이미지에서 2D-3D 객체 검색 또는 스타일/포즈 매칭과 같은 후행 작업을 얼마나 잘 지원할 수 있는가?

주요 결과

• 고계층 CNN 특징는 시점 및 스타일과 같은 개별 요소에 대한 반응의 선형 조합으로 잘 근사되며, 이는 분리된 표현을 의미한다.
• 3D 시점에 대한 민감도는 초기 계층에서 후기 계층으로 갈수록 점차 감소하며, VGG의 fc7 계층은 AlexNet이나 Places보다 시점 민감도가 낮다.
• 색상 기여도는 Places CNN에서 더 높으며, 배경에 대해 51.5%, 전경에 대해 40.7%로 AlexNet이나 VGG보다 더 두드러진다.
• 스타일에 기여하는 상대 분산은 VGG에서 가장 높은 71.4%이며 Places에서는 가장 낮은 24.2%로, 아키텍처 간의 스타일 인코딩 방식의 차이를 보여준다.
• CGI와 자연 이미지(ImageNet, ETH-80)에서의 CNN 특징 PCA 임베딩은 강한 정성적 유사성을 보이며, CGI 기반 분석의 전이 가능성 확인.
• pool5 특징를 사용한 2D-3D 검색은 자연 이미지에서 20도 이내로 60%의 시점 정확도를 달성했으며, 사용자 연구에서 스타일 매칭에 75%의 일致를 보여, 방법의 실용적 관련성 검증.