[論文レビュー] Self-supervised learning through the eyes of a child

A. Emin Orhan, Vaibhav V. Gupta+1 more|arXiv (Cornell University)|Jul 31, 2020

Innovative Teaching and Learning Methods参考文献 42被引用数 65

ひとこと要約

本研究は、発達的に現実的な自己視点のビデオから自己教師付き学習を用いて、強力で高レベルな視覚表現が生まれることを示し、個々の子どもからのSAYCamデータで訓練された新規の時系列分類目的を用いている。

ABSTRACT

Within months of birth, children develop meaningful expectations about the world around them. How much of this early knowledge can be explained through generic learning mechanisms applied to sensory data, and how much of it requires more substantive innate inductive biases? Addressing this fundamental question in its full generality is currently infeasible, but we can hope to make real progress in more narrowly defined domains, such as the development of high-level visual categories, thanks to improvements in data collecting technology and recent progress in deep learning. In this paper, our goal is precisely to achieve such progress by utilizing modern self-supervised deep learning methods and a recent longitudinal, egocentric video dataset recorded from the perspective of three young children (Sullivan et al., 2020). Our results demonstrate the emergence of powerful, high-level visual representations from developmentally realistic natural videos using generic self-supervised learning objectives.

研究の動機と目的

• 知覚データへの一般的な学習から、初期の視覚知識がどれだけ生じうるかを理解する動機づけ。
• 発達に基づいた縦断的な自己視点ビデオを活用して、 explicit labels を使わず表現学習を研究する。
• 自己教師付き学習が、子どもの環境に関連する転用可能な高レベルの視覚カテゴリを生み出すかを評価する。

提案手法

• 個々の子どもからの生のラベルなしヘッドカム動画に対して、自己教師付き深層畳み込みネットワーク（MobileNetV2）をゼロから訓練する。
• フレームがどのエピソード（時系列クラス）に属するかを予測する時系列分類目的を導入し、高速に変化する低レベルの詳細に対する不変性を課す。
• 下流タスクで、時系列分類を静的コントラスト学習および時系列コントラスト学習のベースラインと比較する。
• 発達に関連するカテゴリで、トランクを凍結して線形リードアウトを訓練することにより、学習された表現を評価する。
• 一人の子どもからのSAYCamデータのキュレーション済みラベル付きサブセットとToyboxデータセットを用いて、一般化と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 発達的に現実的で縦断的な自己視点ビデオに対して、一般的な自己教師付き学習が高レベルの視覚表現を生み出せるか。
• RQ2 時系列不変性に基づく学習目的は、画像ベースまたはコントラスト学習の目的より下流の子ども関連分類タスクで優れているか。
• RQ3 学習された表現は子ども間および未知の例へどの程度一般化するか。
• RQ4 サンプリングレート、セグメント長、データ拡張など、下流タスクの性能に影響を与える要因は何か。
• RQ5 学習された特徴は局在性があり、子どもの環境での視覚分類に行動的に妥当か。

主な発見

• 時系列分類自己教師付きモデルは、ラベル付きの子どもデータおよびToyboxタスクで高い下流精度を達成し、時にはImageNet pretrainedベースラインに匹敵する。
• 異なる子どもからのデータで訓練された時系列モデルは、別の子どものラベル付きデータへ一般化する。
• 時系列分類は、静的コントラスト学習および時系列コントラスト学習のいずれよりもすべての報告条件で優れている。
• 学習された表現は自然変換に対する不変性を示し、限られたラベルデータで未知の例へも一般化できる。
• 分析は、上位層でより選択性の高い分散的な特徴表現を示し、注意マップは特定のカテゴリにおいて意味のある画像領域と一致することを示唆する。