[論文レビュー] Generalizable Features From Unsupervised Learning

Mehdi Mirza, Aaron Courville+1 more|arXiv (Cornell University)|Dec 12, 2016

Human Pose and Action Recognition被引用数 4

ひとこと要約

本論文では、物理的推論タスクにおけるゼロショット一般化を向上させるために、自己教師あり動画予測を用いて汎用的な特徴を学習することを提案する。ブロック積み木の構成の将来のフレームを予測するように訓練された生成モデルにより、学習済みの構成とは異なる未観測の構成においても、安定性予測の精度が著しく向上する。これは、教師ありベースラインや人間の性能を上回り、特に学習時よりも多くのブロックを含む構成に対して顕著である。

ABSTRACT

Humans learn a predictive model of the world and use this model to reason about future events and the consequences of actions. In contrast to most machine predictors, we exhibit an impressive ability to generalize to unseen scenarios and reason intelligently in these settings. One important aspect of this ability is physical intuition(Lake et al., 2016). In this work, we explore the potential of unsupervised learning to find features that promote better generalization to settings outside the supervised training distribution. Our task is predicting the stability of towers of square blocks. We demonstrate that an unsupervised model, trained to predict future frames of a video sequence of stable and unstable block configurations, can yield features that support extrapolating stability prediction to blocks configurations outside the training set distribution

研究の動機と目的

• 自己教師あり学習が、単独の教師あり学習に比べ、未学習の物理的構成への一般化を向上させる特徴を生成できるかどうかを調査すること。
• ラベルなしで学習された将来の動画フレームの予測モデルが、ブロック安定性予測タスクにおけるゼロショット一般化を改善できるかどうかを検討すること。
• 自己教師あり動画予測から学習した特徴が、特に分布外テストシナリオにおいて、下流の教師ありタスクに効果的に転送されるかどうかを評価すること。
• 生成データで訓練されたモデルの性能を、教師ありおよび人間のベースラインと比較し、特に学習時に観測されていないブロック数よりも多い構成に対して評価すること。
• データ増強とモデルアーキテクチャ（例：ConvDeconv 対 ConvLSTMDeconv）が一般化性能に与える影響を分析すること。

提案手法

• 物理エンジンを用いて現実的なシーケンスを生成することで、ブロック積み木のダイナミクスの将来のフレームを予測する自己教師あり目的に基づいてフレーム予測モデルを訓練する。
• 訓練されたフレーム予測モデルを用いて合成された将来のフレームを生成し、それらを下流の安定性予測モデルの訓練データ増強に用いる。
• 実データに、自己教師ありモデルから生成された将来のフレームを追加することで、教師あり安定性分類器（例：AlexNet やカスタム CNN）を訓練する。
• 異なるデータ増強戦略（実データのみ、実データ＋ConvDeconv からの生成フレーム、実データ＋ConvLSTMDeconv からの生成フレーム）で訓練されたモデルを比較する。
• 学習時に観測されていない構成（ブロック数）を含むテストセットにおける一般化性能を評価する。学習分布よりも少ないブロック数と、より多いブロック数の両方を含む。
• 一部の実験では、弱い監督信号として倒れたブロック数を組み込むが、主なタスクは二値の安定性予測のままとする。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり動画予測によって学習された特徴は、純粋な教師あり学習に比べ、分布外のブロック積み木構成への一般化を向上させることができるか？
• RQ2 自己教師ありモデルによって将来のフレームを生成することで、特に学習時よりも多くのブロックを含む構成において、安定性予測タスクにおけるゼロショット一般化が向上するか？
• RQ3 生成フレームの品質（例：鮮明さ、時間的整合性）が、安定性予測タスクにおける下流性能にどのように影響するか？
• RQ4 生成フレームを用いたデータ増強は、特にデータ量が少ない状況において、一般化性能をどの程度向上させるか？
• RQ5 自己教師ありモデルの内部表現は、同じデータに対して直接教師あり学習を行う場合に比べ、物理的安定性に関する推論をより良くサポートできるか？

主な発見

• ConvDeconvベースの生成モデル（4CD）は、4ブロックの積み木構成で学習した場合、3ブロックのテストセットで80.53％の精度を達成した。これは、データ増強なしの4Sベースライン（52.5％）を著しく上回った。
• 4CDモデルは、学習時よりも多くのブロック数（例：5ブロック）を含む構成への一般化が、少ないブロック数（3ブロック）の構成よりも優れており、5ブロックのテストセットでは89.1％の精度を示した。
• 5CDモデルは、5ブロックのテストセットで88.53％の精度を達成し、5Sベースライン（67.23％）を上回り、同テストセットでの人間の性能（59％）に近づいた。
• 生成フレームを用いたデータ増強により、5CDモデルの精度は、増強なしの58.27％から4ブロックのテストセットで74.50％まで上昇し、顕著な一般化の向上が確認された。
• ConvDeconvを用いたフレーム生成モデルは、ConvLSTMDeconvに比べ、より鮮明でノイズの少ないサンプルを生成しており、これと相関して下流性能が優れていた（4CD対4CLDの4ブロックテストセットでの精度は92.5％ 対 91.20％）。
• 倒れたブロック数を弱い監督信号として提供されたにもかかわらず、顕著な性能向上は観察されなかった。これは、データ内での倒れたブロック数の分布が極めて不均衡であることが主な要因と考えられる。