[論文レビュー] Seeing Neural Networks Through a Box of Toys: The Toybox Dataset of Visual Object Transformations.

Xiaohan Wang, Tengyu Ma+5 more|arXiv (Cornell University)|Jun 15, 2018

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 2

ひとこと要約

本稿では、回転や平行移動などの制御された構造的変換を受ける家庭用おもちゃや物の第一人称記録からなる動画データセット、Toyboxを紹介する。このデータセットを用いて、著者たちはトレーニングデータの分布が畳み込みニューラルネットワーク（CNN）の性能に与える影響を示し、深層ネットワーク内での視覚的オブジェクト概念の表現に関する洞察を得た。

ABSTRACT

Deep convolutional neural networks (CNNs) have enjoyed tremendous success in computer vision in the past several years, particularly for visual object recognition.However, how CNNs work remains poorly understood, and the training of deep CNNs is still considered more art than science. To better characterize deep CNNs and the training process, we introduce a new video dataset called Toybox. Images in Toybox come from first-person, wearable camera recordings of common household objects and toys being manually manipulated to undergo structured transformations like rotations and translations. We also present results from initial experiments using deep CNNs that begin to examine how different distributions of training data can affect visual object recognition performance, and how visual object concepts are represented within a trained network.

研究の動機と目的

• 制御的・構造的な変換（例：回転や平行移動）を受ける状況下で、深層畳み込みニューラルネットワーク（CNN）が視覚的オブジェクト認識をどのように学ぶかを研究するための、制御された構造的動画データセットを開発すること。
• トレーニングデータの分布がCNNの性能および一般化に与える影響を調査すること。
• 構造的で現実世界のオブジェクト操作に基づくデータを用いて、トレーニング済みのCNN内の視覚的オブジェクト概念がどのようにエンコードされているかを分析すること。
• 深層CNNの内部表現および学習ダイナミクスを体系的に探査するための再現可能なベンチマークを提供すること。

提案手法

• 回転や平行移動などの制御された変換を人手で加えながら、一般的なおもちゃや家庭用品の第一人称動画記録を収集すること。
• CNNの挙動を体系的に分析できるように、一貫性があり繰り返し可能な視覚的変化を持つデータセットを設計すること。
• データセット内の変化を制御したデータの分布を変化させながら、深層CNNを学習させ、データのシフトに伴う性能差を評価すること。
• トレーニング済みのネットワーク内の特徴マップの活性化や表現を分析し、視覚的コンセプトがどのようにエンコードされ、一般化されているかを検討すること。

実験結果

リサーチクエスチョン

• RQ1 特に構造的変換が含まれるトレーニングデータの分布が、視覚的オブジェクト認識における深層CNNの性能にどのように影響するか？
• RQ2 構造的で現実世界のオブジェクト操作に基づいて学習された場合、トレーニング済みのCNNの内部層に視覚的オブジェクトコンセプトはどのように表現されているか？
• RQ3 トレーニングデータに制御された視覚的変換を組み込むことで、深層ネットワークの一般化性とロバスト性はどの程度向上するか？

主な発見

• トレーニングデータの分布がCNNの性能に顕著な影響を与え、構造的変換を含むデータが分布シフト下での認識性能を向上させることを示した。
• トレーニング時に観察された変換の種類と相関する階層的特徴学習を通じて、トレーニング済みのCNN内に視覚的オブジェクトコンセプトが表現されていることがわかった。
• Toyboxデータセットにより、制御された視覚的変動下でのCNNの一般化および表現学習を体系的に探査できるようになった。
• 初期の実験では、多様で構造的な変換を含むデータで学習させたネットワークが、よりロバストで一般化可能な特徴を学習することが示された。