[論文レビュー] Learning high-level visual representations from a child's perspective without strong inductive biases

A. Emin Orhan, Brenden M. Lake|arXiv (Cornell University)|May 24, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、強いインダクティブバイアスを用いずに、乳児のエゴセントリックな視覚経験から高レベルの視覚表現を学習できるかを調査する。1人の乳児のヘッドマウントカメラ映像約200時間の自己教師あり学習を用いて、ビジョントランスフォーマーを訓練し、強力な意味的理解力と生成能力を獲得した。ImageNetで事前学習されたモデルと比べて著しく異なる学習データを用いているが、下流タスクで70%の性能に達した。

ABSTRACT

Young children develop sophisticated internal models of the world based on their visual experience. Can such models be learned from a child's visual experience without strong inductive biases? To investigate this, we train state-of-the-art neural networks on a realistic proxy of a child's visual experience without any explicit supervision or domain-specific inductive biases. Specifically, we train both embedding models and generative models on 200 hours of headcam video from a single child collected over two years and comprehensively evaluate their performance in downstream tasks using various reference models as yardsticks. On average, the best embedding models perform at a respectable 70% of a high-performance ImageNet-trained model, despite substantial differences in training data. They also learn broad semantic categories and object localization capabilities without explicit supervision, but they are less object-centric than models trained on all of ImageNet. Generative models trained with the same data successfully extrapolate simple properties of partially masked objects, like their rough outline, texture, color, or orientation, but struggle with finer object details. We replicate our experiments with two other children and find remarkably consistent results. Broadly useful high-level visual representations are thus robustly learnable from a representative sample of a child's visual experience without strong inductive biases.

研究の動機と目的

• 強いインダクティブバイアスを用いずに、乳児の現実世界の視覚経験から高レベルの視覚表現を学習できるかを調査すること。
• 1人の乳児からの縦断的エゴセントリックな映像データに学習した自己教師あり学習モデルの能力を評価すること。
• 標準的な事前学習モデルと比較して、分類、セグメンテーション、生成などの下流タスクへの一般化性能を評価すること。
• 異なる乳児やモデルアーキテクチャ間で、これらの表現の頑健さと一貫性を評価すること。
• 乳児発達とディープラーニングの間のデータギャップを、初期段階の視覚経験の現実的代理指標を用いて埋めること。

提案手法

• DINO、Mugs、マスキング自己符号化器（MAE）の3つの自己教師あり学習（SSL）アルゴリズムを用いて、ビジョントランスフォーマー（ViT）モデルを訓練する。
• 1人の乳児からの縦断的エゴセントリックな映像データセット（SAYCam）を用い、合計で約200時間の連続したヘッドマウントカメラ映像を活用する。
• 固定された特徴量を用いて、9つの下流タスク（分類とセグメンテーション）への微調整により、埋め込みモデルを評価する。
• 学習済みコードブックからの離散的潜在コードに、自己回帰的トランスフォーマーに基づく生成モデルを訓練し、画像の補完や生成を可能にする。
• 一般化を向上させるために、トレーニング中に標準的なSSLデータ拡張法（例：色のジャマ、ランダムクロッピング）を適用する。
• 追加の2人の乳児でも実験を再現し、学習済み表現の一貫性と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 強いインダクティブバイアスを用いずに、乳児のエゴセントリックな視覚経験から高レベルの視覚表現を学習できるか？
• RQ2 乳児に似た視覚データに学習したモデルは、ImageNetで事前学習されたモデルと比較して、下流の視覚認識タスクでどのように性能を発揮するか？
• RQ3 このようなモデルは、明示的な教師信号なしに、広範な意味的カテゴリーとオブジェクトの局所化をどの程度学習できるか？
• RQ4 乳児の視覚データに学習した生成モデルは、形状、色、方向などの部分的なオブジェクト特性をどの程度外挿できるか？
• RQ5 異なる乳児やトレーニングランの間で、学習済み表現はどの程度一貫しているか？

主な発見

• 最良の埋め込みモデルは、下流の分類およびセグメンテーションタスクで、高性能なImageNet学習済みモデルの平均70%の性能に達した。
• 明示的な教師信号なしに、広範な意味的カテゴリーと基本的なオブジェクト局所化能力を学習したが、ImageNetで学習したモデルほどオブジェクト中心的ではなかった。
• 生成モデルは、部分的なマスクから粗いアウトライン、テクスチャ、色、方向といった粗いオブジェクト特性をうまく外挿できたが、詳細なディテールには苦労した。
• 3人の異なる乳児で得られた結果は顕著に一貫しており、学習済み表現が個人差のある視覚経験に対して頑健であることが示された。
• 限定的なデータ（約40日分の視覚入力）と低品質な画像にもかかわらず、モデルは意味のある視覚理解を示した。これは、豊富で連続的な視覚経験そのものが、高レベルの表現学習を支える可能性を示唆している。
• 本研究は、ドメイン特化のインダクティブバイアスを一切用いずに、一般的なディープラーニングアーキテクチャと自己教師あり学習のみで、乳児の現実世界の視覚経験から強力な視覚表現を学習できることを示した。