[논문 리뷰] Self-supervised learning through the eyes of a child

A. Emin Orhan, Vaibhav V. Gupta외 1명|arXiv (Cornell University)|2020. 07. 31.

Innovative Teaching and Learning Methods참고 문헌 42인용 수 65

한 줄 요약

본 논문은 발달적으로 현실적인 자기시점 영상에서 자기지도 학습을 통해 강력하고 고수준의 시각 표현이 등장할 수 있음을 보여주며, 개별 아동의 SAYCam 데이터로 학습된 새로운 시간 분류 목표를 사용합니다.

ABSTRACT

Within months of birth, children develop meaningful expectations about the world around them. How much of this early knowledge can be explained through generic learning mechanisms applied to sensory data, and how much of it requires more substantive innate inductive biases? Addressing this fundamental question in its full generality is currently infeasible, but we can hope to make real progress in more narrowly defined domains, such as the development of high-level visual categories, thanks to improvements in data collecting technology and recent progress in deep learning. In this paper, our goal is precisely to achieve such progress by utilizing modern self-supervised deep learning methods and a recent longitudinal, egocentric video dataset recorded from the perspective of three young children (Sullivan et al., 2020). Our results demonstrate the emergence of powerful, high-level visual representations from developmentally realistic natural videos using generic self-supervised learning objectives.

연구 동기 및 목표

• 일반적인 감각 데이터 학습으로 조기 시각 지식이 얼마나 많이 형성될 수 있는지 이해를 촉진한다.
• 발달 정보를 반영한 장기적인 자기시점 비디오를 활용하여 명시적 라벨 없이 표현 학습을 연구한다.
• 자기지도 학습이 아동의 환경과 관련된 이전 가능한 고수준 시각 범주를 산출하는지 평가한다.

제안 방법

• 개별 아동의 원시 무라벨 헤드캠 비디오에서 처음부터 자기지도 심층 합성곱 신경망(MobileNetV2)을 학습한다.
• 프레임이 어느 에피소드(시간 클래스)에 속하는지 예측하는 시간 분류 목표를 도입하여 빠르게 변화하는 저수준 세부사항에 대한 불변성을 강제한다.
• 다운스트림 작업에서 시간 분류를 정적 및 시간 대비 대조 학습 베이스라인과 비교한다.
• 발달적으로 관련된 범주에 대해 트렁크를 고정시키고 선형 읽기능을 학습시켜 학습 표현을 평가한다.
• 일부 아동의 SAYCam 데이터에서 선별된 라벨링된 부분 데이터 세트와 Toybox 데이터 세트를 사용하여 일반화 및 견고성을 평가한다.

실험 결과

연구 질문

• RQ1 발달적으로 현실적이고 장기적인 자기시점 비디오에서의 일반적인 자기지도 학습이 고수준 시각 표현을 산출할 수 있는가?
• RQ2 시간 불변성 기반 학습 목표가 이미지 기반 또는 대비 학습 목표보다 하위 작업인 아동 관련 범주화에서 더 우수한가?
• RQ3 학습된 표현이 아동 간 및 본 적 없는 예시들에 대해 얼마나 일반화되는가?
• RQ4 샘플링 속도, 세그먼트 길이, 데이터 증강 등 어떤 요인들이 하위 작업 성능에 영향을 미치는가?
• RQ5 학습된 특징이 아동 환경의 시각 분류에 대해 국지화되고 행동적으로 타당한가?

주요 결과

• 시간 분류 자기지도 모델은 라벨이 있는 아동 데이터와 Toybox 작업에서 높은 하위 작업 정확도를 달성하며 때때로 ImageNet 사전학습 기준과 경쟁한다.
• 다른 아동의 데이터로 학습된 시간 모델이 다른 아동의 라벨링 데이터에 일반화된다.
• 보고된 모든 조건에서 시간 분류가 정적 대비 학습 및 시간 대비 학습자들보다 우수하다.
• 학습된 표현은 자연 변환에 대한 불변성을 보이고 제한된 라벨 데이터로 본 적 없는 예시에도 일반화할 수 있다.
• 분석은 더 높은 층에서 더 높은 선택성을 보이는 분산된 특징 표현과 특정 범주에 대해 주의 맵이 의미 있는 이미지 영역과 정렬됨을 시사한다.