[論文レビュー] Cross-Domain Self-supervised Multi-task Feature Learning using Synthetic Imagery

Zhongzheng Ren, Yong Jae Lee|arXiv (Cornell University)|Nov 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 74被引用数 4

ひとこと要約

本論文は、合成RGB画像から一括して深度、表面法線、インスタンス輪郭を予測することで一般化可能な視覚的表現を学ぶ、クロスドメイン自己教師ありマルチタスクネットワークを提案する。同時に、敵対的特徴空間ドメイン適応を用いて実画像とのドメインギャップを埋める。この手法は、PASCAL VOC 2007分類および検出タスクで最先端の転移学習性能を達成し、単一タスクベースラインや競合手法を上回る性能を示した。

ABSTRACT

In human learning, it is common to use multiple sources of information jointly. However, most existing feature learning approaches learn from only a single task. In this paper, we propose a novel multi-task deep network to learn generalizable high-level visual representations. Since multi-task learning requires annotations for multiple properties of the same training instance, we look to synthetic images to train our network. To overcome the domain difference between real and synthetic data, we employ an unsupervised feature space domain adaptation method based on adversarial learning. Given an input synthetic RGB image, our network simultaneously predicts its surface normal, depth, and instance contour, while also minimizing the feature space domain differences between real and synthetic data. Through extensive experiments, we demonstrate that our network learns more transferable representations compared to single-task baselines. Our learned representation produces state-of-the-art transfer learning results on PASCAL VOC 2007 classification and 2012 detection.

研究の動機と目的

• 視覚的表現学習のための大規模なアノテート済みデータセット（例：ImageNet）の高コストおよびスケーラビリティの制限を克服すること。
• 合成画像と実画像の間のドメインシフトのため、合成データから汎用的な視覚的特徴を学ぶ課題に対処すること。
• 合成データ上で複数の自己教師ありタスク（深度、表面法線、輪郭）を活用することで、特徴の転移性を向上させること。
• 手動アノテーションへの依存を減らすために、合成画像から得られる物理的性質マップ（例：深度マップ）を教師信号として自由に活用すること。
• 敵対的訓練を用いた非教師あり特徴空間ドメイン適応により、ドメイン不変の表現を学習すること。

提案手法

• マルチタスク深層ネットワークを合成RGB画像上で学習させ、自己教師ありの教師信号として深度マップ、表面法線マップ、インスタンス輪郭マップを予測する。
• 各予測タスクごとに特化したヘッドを備えた共有エンコーダーバックボーン（例：VGGスタイル）を用いる。
• 敵対的ドメイン適応モジュールを導入し、ドメイン識別器を訓練して実画像特徴と合成画像特徴を区別する。
• ジェネレータ（特徴エンコーダー）は、実画像特徴を合成画像特徴と誤認させ、合成画像特徴を実画像特徴と誤認させるように更新され、特徴空間におけるドメイン差を最小化する。
• 全体の学習目的は、マルチタスク予測損失（例：深度にはL1損失、法線にはコサイン類似度）とドメイン整合性のための敵対的損失を組み合わせたものである。
• モデルはSUNCGデータセットから得た0.5M～1.5M枚の合成画像で事前学習し、PASCAL VOC や NYUD といった実世界のベンチマークで微調整した。

実験結果

リサーチクエスチョン

• RQ1 合成データ上でマルチタスク自己教師あり学習を実施することで、単一タスクベースラインよりも転移性の高い視覚的表現が得られるか？
• RQ2 敵対的特徴空間ドメイン適応は、合成画像と実画像の間のドメインギャップを効果的に低減するか？
• RQ3 合成データのスケールを拡大することで、学習された特徴の転移性にどのような影響を与えるか？
• RQ4 中間レベルの特徴（深度、法線、輪郭）を同時に予測することで、高レベルの意味的特徴の学習が間接的に促進されるか？
• RQ5 提案手法は、下流の実世界タスクにおける最先端の自己教師ありおよび教師あり事前学習手法と比較してどのように性能を発揮するか？

主な発見

• 提案されたマルチタスクモデルは、ImageNet分類タスクで68.0%のトップ1正解率、PASCAL VOC 2012検出タスクで52.6%の平均平均精度（mAP）を達成し、単一タスクベースラインを上回った。
• NYUDの表面法線推定タスクでは、66.7%のピクセルが11.25°未満の角度誤差を示し、[71]の自己教師あり手法を上回り、合成データで事前学習した教師あり手法と同等の性能を達成した。
• 合成データセットのサイズを0.5M枚から1.5M枚に増加させることで、分類および検出の正解率がそれぞれ0.5～0.6ポイント向上し、データスケーラビリティの利点が明らかになった。
• 実画像→合成画像および合成画像→実画像の両方向で識別器をだませるように最適化した場合、片方向でのみだませるようにした場合に比べて性能がわずかに低下した。これは最適化ダイナミクスが非最適である可能性を示唆した。
• アブレーションスタディにより、マルチタスク学習、ドメイン適応、データスケールがすべて、転移可能な特徴の学習に顕著に寄与することが確認された。
• ゼロショット転移性能が強く、自己教師ありタスクが高レベルの意味的表現の学習を効果的に促進していることが示された。