[論文レビュー] On the Transfer of Inductive Bias from Simulation to the Real World: a New Disentanglement Dataset

Muhammad Waleed Gondal, Manuel Wüthrich+8 more|arXiv (Cornell University)|Jun 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 30

ひとこと要約

本論文は、7つの要因（色、形状、サイズ、位置、カメラ高さ、背景、ロボットアームの運動）の制御された変動を伴う物理的物体の100万枚を超える実写画像に加え、段階的にリアルな模擬環境を備えた新しい実世界3次元データセットを紹介する。研究では、シミュレーションから実世界への表現の分離の直接的転送は劣悪であるが、リアルなシミュレーションに基づくモデルおよびハイパーパramータの選択が、実世界への転送性能を顕著に向上させることを発見した。実世界のデータへの転送において、ランダム選択を上回る成功確率は72%に達した。

ABSTRACT

Learning meaningful and compact representations with disentangled semantic aspects is considered to be of key importance in representation learning. Since real-world data is notoriously costly to collect, many recent state-of-the-art disentanglement models have heavily relied on synthetic toy data-sets. In this paper, we propose a novel data-set which consists of over one million images of physical 3D objects with seven factors of variation, such as object color, shape, size and position. In order to be able to control all the factors of variation precisely, we built an experimental platform where the objects are being moved by a robotic arm. In addition, we provide two more datasets which consist of simulations of the experimental setup. These datasets provide for the first time the possibility to systematically investigate how well different disentanglement methods perform on real data in comparison to simulation, and how simulated data can be leveraged to build better representations of the real world. We provide a first experimental study of these questions and our results indicate that learned models transfer poorly, but that model and hyperparameter selection is an effective means of transferring information to the real world.

研究の動機と目的

• 従来の研究が合成トゥイー・データセットに大きく依存していることから、実世界データにおける分離表現学習の評価ギャップを埋める。
• シミュレーション環境から実世界の物理的記録への分離手法の転送性能を調査する。
• シミュレーションの質とインダクティブバイアスが、実世界データへの成功した転送を可能にする役割を検証する。
• 制御された高品質な実世界およびシミュレーテッド画像を備えたベンチマークデータセットを提供し、体系的な評価を可能にする。

提案手法

• 色、形状、サイズ、位置、カメラ高さ、背景、およびロボットアームの運動の自由度2つを含む7つの要因を制御して、3次元物理的物体を正確に制御・記録するためのロボットプラットフォームを構築した。
• 簡素化されたレンダリングを用いたシミュレーテッドデータセット（おもちゃシミュレーション）と、物理的セットアップと一致する高精細でリアルなレンダリングを用いたデータセットの2種類を生成した。
• 100万枚を超える実世界の画像を収集し、同じ解像度（64×64）および要因設定で対応するシミュレーテッド画像とマッチングした。
• 標準指標（例：MIG、DCI）を用いて、実世界データ、おもちゃシミュレーションデータ、リアルなシミュレーションデータの3つのデータセットで、複数の最先端分離表現モデルを評価した。
• ランク相関分析とモデル選択転送実験を用いて、シミュレーションで得たハイパーパramータ選択が、実世界データにおける性能を予測できるかを評価した。
• データ品質、教師信号、実世界の歪みの影響を評価するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 レンダリングされた画像から実世界の記録への、非教師付き最先端分離アルゴリズムの転送性能はどの程度か？
• RQ2 事前学習に用いたシミュレーションのリアルさが、転送性能にどのように影響するか？
• RQ3 シミュレーションから得たモデルおよびハイパーパramータ選択は、実世界表現学習の有効なインダクティブバイアスとして機能するか？
• RQ4 反射、ノイズなどの実世界の歪みを学習に組み込むことで、分離表現学習に利点があるか？
• RQ5 分離表現は、データ生成プロセスの因果メカニズムをモデル化するために利用可能か？

主な発見

• シミュレーションデータでの学習に限定した場合、シミュレーションから実世界データへの分離表現の直接的転送は劣悪であり、実世界データではMIGおよびDCIスコアが著しく低下した。
• リアルなシミュレーションに基づくモデルおよびハイパーパramータ選択により、実世界への転送性能が向上し、実世界データへの転送でランダム選択を上回る成功確率は72%に達した。
• 驚くべきことに、簡素な合成おもちゃシミュレーションから実世界への転送でも、ランダム選択を上回る確率は78%に達した。これは、低精細なシミュレーションでも有用なインダクティブバイアスが保持されている可能性を示唆している。
• 実世界データ、リアルなシミュレーションデータ、おもちゃシミュレーションデータの3つのデータセット間でのモデル性能ランクの相関が高く、モデル性能が異なるドメイン間で予測可能であることが示された。
• 本研究では、実世界データで学習した分離表現が、シミュレーションからの転送よりも高いスコアを達成することを確認した。これは、最終的な展開において実データの重要性を強調している。
• 提案されたデータセットにより、シミュレーションと実世界の両ドメインにおける分離性、転移学習、インダクティブバイアスの体系的評価が可能になった。