[논문 리뷰] Seeing Neural Networks Through a Box of Toys: The Toybox Dataset of Visual Object Transformations.

Xiaohan Wang, Tengyu Ma외 5명|arXiv (Cornell University)|2018. 06. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 2

한 줄 요약

이 논문은 회전 및 이동과 같은 제어된, 구조적인 변형을 겪는 가정용 장난감과 물체의 1인칭 기록 영상으로 구성된 비디오 데이터셋인 Toybox를 소개한다. 이 데이터셋을 바탕으로 저자들은 학습 데이터 분포가 CNN 성능에 미치는 영향을 입증하고, 딥 네트워크 내에서 시각적 물체 개념이 어떻게 표현되는지에 대한 통찰을 제시한다.

ABSTRACT

Deep convolutional neural networks (CNNs) have enjoyed tremendous success in computer vision in the past several years, particularly for visual object recognition.However, how CNNs work remains poorly understood, and the training of deep CNNs is still considered more art than science. To better characterize deep CNNs and the training process, we introduce a new video dataset called Toybox. Images in Toybox come from first-person, wearable camera recordings of common household objects and toys being manually manipulated to undergo structured transformations like rotations and translations. We also present results from initial experiments using deep CNNs that begin to examine how different distributions of training data can affect visual object recognition performance, and how visual object concepts are represented within a trained network.

연구 동기 및 목표

• 체계적인 변형 조건 하에서 딥 컨volution 신경망이 시각적 물체 인식을 어떻게 학습하는지 연구하기 위한 제어된, 구조적인 비디오 데이터셋을 개발하기.
• 학습 데이터 분포가 CNN 성능 및 일반화에 미치는 영향을 조사하기.
• 구조적이고 실제 세계의 물체 조작을 통해 훈련된 딥 컨volution 신경망 내부의 시각적 물체 개념이 어떻게 인코딩되는지 분석하기.
• 딥 컨volution 신경망의 내부 표현 및 학습 역학을 탐구하기 위한 재현 가능한 벤치마크 제공하기.

제안 방법

• 회전 및 이동과 같은 제어된 변형을 통해 수동으로 조작되는 일반적인 장난감과 가정용 물체의 1인칭 영상 기록을 수집하기.
• CNN 행동에 대한 체계적인 분석을 가능하게 하기 위해 일관되고 반복 가능한 시각적 변화를 갖는 데이터셋 설계하기.
• 제어된 데이터 이동 조건 하에서 Toybox 데이터의 다양한 분포로 딥 컨volution 신경망을 훈련시어 성능 차이 평가하기.
• 훈련된 네트워크 내부의 특징 활성화 및 표현을 분석하여, 시각적 개념이 어떻게 인코딩되고 일반화되는지 연구하기.

실험 결과

연구 질문

• RQ1 특히 구조적인 변형이 포함된 학습 데이터 분포가 시각적 물체 인식에서 딥 컨volution 신경망의 성능에 어떤 영향을 미치는가?
• RQ2 실제 세계의 물체 조작을 구조적으로 훈련시킨 경우, 훈련된 딥 컨볼루션 신경망의 내부 레이어에서 시각적 물체 개념은 어떻게 표현되는가?
• RQ3 학습 데이터 내의 제어된 시각적 변형이 딥 네트워크의 일반화 및 내성적 강건성에 어느 정도 기여하는가?

주요 결과

• 학습 데이터 분포가 CNN 성능에 상당한 영향을 미치며, 구조적인 변형이 데이터 분포 변화 상황에서 인식 성능을 향상시킨다.
• 훈련된 CNN 내부에서 시각적 물체 개념은 훈련 중 관찰된 변형 유형과 관련된 계층적 특징 학습을 통해 표현된다.
• Toybox 데이터셋은 제어된 시각적 변형 조건 하에서 CNN의 일반화 및 표현 학습을 체계적으로 탐구할 수 있게 한다.
• 초기 실험 결과, 다양한 구조적 변형을 포함한 데이터로 훈련된 네트워크가 더 강건하고 일반화 가능한 특징을 학습하는 것으로 나타났다.