[논문 리뷰] Learning high-level visual representations from a child's perspective without strong inductive biases

A. Emin Orhan, Brenden M. Lake|arXiv (Cornell University)|2023. 05. 24.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 강한 인도적 편향 없이 어린이의 자기 중심 시각 경험에서 고수준의 시각적 표현을 학습할 수 있는지 조사한다. 한 명의 어린이로부터 확보한 200시간 분량의 헤드마운트 카메라 영상에 대해 자기지도 학습을 적용함으로써, 저자들은 시각 트랜스포머 모델을 학습시켜 강건한 의미적 이해력과 생성 능력을 확보하였다. 이는 훈련 데이터가 훨씬 다를지라도 ImageNet 사전 훈련 모델의 성능의 70%에 도달하는 결과를 얻었다.

ABSTRACT

Young children develop sophisticated internal models of the world based on their visual experience. Can such models be learned from a child's visual experience without strong inductive biases? To investigate this, we train state-of-the-art neural networks on a realistic proxy of a child's visual experience without any explicit supervision or domain-specific inductive biases. Specifically, we train both embedding models and generative models on 200 hours of headcam video from a single child collected over two years and comprehensively evaluate their performance in downstream tasks using various reference models as yardsticks. On average, the best embedding models perform at a respectable 70% of a high-performance ImageNet-trained model, despite substantial differences in training data. They also learn broad semantic categories and object localization capabilities without explicit supervision, but they are less object-centric than models trained on all of ImageNet. Generative models trained with the same data successfully extrapolate simple properties of partially masked objects, like their rough outline, texture, color, or orientation, but struggle with finer object details. We replicate our experiments with two other children and find remarkably consistent results. Broadly useful high-level visual representations are thus robustly learnable from a representative sample of a child's visual experience without strong inductive biases.

연구 동기 및 목표

• 강한 인도적 편향 없이 어린이의 실제 세계 시각 경험에서 고수준의 시각적 표현을 학습할 수 있는지 조사한다.
• 단일 어린이로부터의 종단적 자기 중심 영상 데이터에 훈련된 자기지도 학습 모델의 능력을 평가한다.
• 기본 사전 훈련 모델과 비교하여 이러한 모델이 분류, 세분화, 생성 등의 종단 작업에 얼마나 잘 일반화되는지 평가한다.
• 다양한 어린이들과 모델 아키텍처 간에 이러한 표현의 강건성과 일관성을 평가한다.
• 어린이 발달과 딥 러닝 간의 데이터 격차를 해소하기 위해 초기 시각 경험의 현실적인 대체자(프록시)를 사용한다.

제안 방법

• DINO, Mugs, 및 마스킹 오토에인코더(MAE)와 같은 세 가지 자기지도 학습(SSL) 알고리즘을 사용하여 시각 트랜스포머(ViT) 모델을 훈련한다.
• 한 명의 어린이로부터 확보한 종단적 자기 중심 영상 데이터셋(SAYCam)을 사용하며, 총 약 200시간의 연속된 헤드마운트 카메라 영상이다.
• 고정된 특징을 사용하여 9개의 종단 작업(분류 및 세분화)에 대해 피지컬 편집을 통해 임bedding 모델을 평가한다.
• 학습된 코드북에서 유도된 이산 잠재 코드를 기반으로 한 자동회귀 트랜스포머 기반 생성 모델을 훈련하여 이미지 보완 및 생성을 가능하게 한다.
• 일반적인 SSL 데이터 증강 기법(예: 색상 왜곡, 무작위 자르기)을 적용하여 훈련 중 일반화 능력을 향상시킨다.
• 학습된 표현의 일관성과 강건성을 평가하기 위해 추가로 두 명의 어린이에 대해 실험을 반복한다.

실험 결과

연구 질문

• RQ1 강한 인도적 편향 없이 어린이의 자기 중심 시각 경험에서 고수준의 시각적 표현을 학습할 수 있는가?
• RQ2 어린이 유사 시각 데이터에 훈련된 모델은 종단 시각 인식 작업에서 ImageNet 사전 훈련 모델과 비교해 어떻게 성능을 내는가?
• RQ3 이러한 모델은 명시적 지도 없이 넓은 의미적 범주와 물체 정위를 어느 정도 학습하는가?
• RQ4 어린이 시각 데이터에 기반한 생성 모델은 형상, 색상, 또는 방향성과 같은 부분적 물체 특성을 얼마나 잘 외삽할 수 있는가?
• RQ5 다른 어린이들과 훈련 런 간에 학습된 표현은 어느 정도 일관성 있는가?

주요 결과

• 최고의 임bedding 모델은 종단 분류 및 세분화 작업에서 고성능 ImageNet 훈련 모델의 평균 70% 성능을 달성하였다.
• 모델들은 명시적 지도 없이 넓은 의미적 범주와 기본적인 물체 정위 능력을 학습하였지만, ImageNet 훈련 모델보다 물체 중심적인 성향이 덜했다.
• 생성 모델은 부분 마스크에서 거친 물체 특성(예: 윤곽, 질감, 색상, 방향성)을 성공적으로 외삽했지만, 세밀한 디테일에는 어려움을 겪었다.
• 세 명의 다른 어린이에 대해 결과가 놀랄 정도로 일관되었으며, 이는 학습된 표현이 개인적 시각 경험의 다양성에 대해 강건함을 시사한다.
• 제한된 데이터(약 40일 분량의 시각 입력)와 낮은 이미지 품질에도 불구하고 모델들은 의미 있는 시각 이해 능력을 보였으며, 이는 풍부하고 지속적인 시각 경험만으로도 고수준의 표현 학습이 가능함을 시사한다.
• 본 연구는 도메인 전용 인도적 편향 없이 일반적인 딥 러닝 아키텍처와 자기지도 학습만을 사용하여 어린이의 실제 세계 시각 경험에서 강력한 시각적 표현을 학습할 수 있음을 입증한다.