[論文レビュー] Transfer Learning From Synthetic To Real Images Using Variational Autoencoders For Precise Position Detection

Tadanobu Inoue, Subhajit Chaudhury+2 more|arXiv (Cornell University)|Jul 4, 2018

Robotics and Sensor-Based Localization被引用数 9

ひとこと要約

本論文では、大規模な合成データと少量の実画像データを活用して、実世界の画像における正確な物体位置検出を可能にする、変分オートエンコーダー（VAEs）を用いた転移学習手法を提案する。この手法は、合成画像と実画像の両方を同じ潜在空間にマッピングする2つのVAEを訓練し、CNNがドメイン間で一般化できるようにする。これにより、照明条件の変化や不要な物体の影響がある状況下でも、1.5–3.5 mmの平均精度で実世界の検出タスクを達成する。

ABSTRACT

Capturing and labeling camera images in the real world is an expensive task, whereas synthesizing labeled images in a simulation environment is easy for collecting large-scale image data. However, learning from only synthetic images may not achieve the desired performance in the real world due to a gap between synthetic and real images. We propose a method that transfers learned detection of an object position from a simulation environment to the real world. This method uses only a significantly limited dataset of real images while leveraging a large dataset of synthetic images using variational autoencoders. Additionally, the proposed method consistently performed well in different lighting conditions, in the presence of other distractor objects, and on different backgrounds. Experimental results showed that it achieved accuracy of 1.5mm to 3.5mm on average. Furthermore, we showed how the method can be used in a real-world scenario like a "pick-and-place" robotic task.

研究の動機と目的

• 物体検出タスクにおける合成画像と実世界画像の間の「現実性のギャップ」を解消すること。
• 大規模な合成データセットを活用することで、高コストな実世界データ収集の必要性を低減すること。
• わずかな数の実画像のみを用いて、実世界の状況においても正確な物体位置検出を可能にすること。
• 推論時に照明条件、背景、不要な物体の変化に対して頑健であることを保証すること。
• ピックアンドプレースタスクなどの実用的ロボットシステムへの応用を示すこと。

提案手法

• 合成RGB-D画像を用いてVAE1を訓練し、合成データの共有潜在表現を学習する。
• VAE1のデコーダー重みを固定したまま、実画像を用いて2番目のVAE（VAE2）を微調整することで、実画像と合成画像の潜在空間を一致させる。
• 共有デコーダーを用いて、実画像から疑似合成画像を生成し、ドメイン間の特徴転送を可能にする。
• VAE1が出力する合成データの出力を用いて、畳み込みニューラルネットワーク（CNN）を訓練し、物体位置を予測する。
• 再訓練なしに、VAE2が出力する実画像からの疑似合成画像を用いて、推論段階で訓練済みCNNを実行する。
• 不変な潜在空間を活用することで、多様な実世界条件においても検出性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 VAEベースのドメイン適応手法は、物体位置検出における合成画像と実画像の間の現実性ギャップを軽減できるか？
• RQ2 VAEベースの特徴一致を介して、大規模な合成データと少量の実画像データを組み合わせた場合、どの程度検出精度が向上するか？
• RQ3 本手法は、照明条件の変化、背景のテクスチャ、不要な物体の影響に対してどの程度頑健か？
• RQ4 再訓練なしに、複雑で装飾的な実世界の物体に対しても一般化できるか？
• RQ5 高精度を要する実用的ロボットピックアンドプレースタスクへの応用が成功するか？

主な発見

• 本手法は、わずかな数の実画像のみを用いて、実世界の画像で平均1.5–3.5 mmの位置検出精度を達成した。
• 本モデルは、多様な照明条件下でも高い性能を維持し、照明変化に対しても頑健であることを示した。
• 本手法は不要な物体を正しく無視し、複数の物体が存在する状況下でも、ターゲット物体を正確に局所化できた。
• VAE2モデルは、ターゲット物体のみを効果的に再構築し、背景や不要な物体の特徴を効果的に抑制した。
• 本手法は、ブラックペーパーやチェッカーパattersなどの未学習の背景に対しても、再訓練なしに一般化できた。
• 本手法は、公開動画で示された実世界のロボットピックアンドプレースタスクにおいて、成功裏に検証された。