[論文レビュー] Syn2Real: A New Benchmark forSynthetic-to-Real Visual Domain Adaptation

Xingchao Peng, Ben Usman+4 more|arXiv (Cornell University)|Jun 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 49

ひとこと要約

この論文は、Syn2Real ベンチマークを導入し、閉セット分類、オープンセット分類、物体検出における非教師あり Synthetic-to-Real ドメイン適応を横断し、パフォーマンスの大きなギャップを示し、挑戦的なマルチタスク評価設定を提案します。

ABSTRACT

Unsupervised transfer of object recognition models from synthetic to real data is an important problem with many potential applications. The challenge is how to "adapt" a model trained on simulated images so that it performs well on real-world data without any additional supervision. Unfortunately, current benchmarks for this problem are limited in size and task diversity. In this paper, we present a new large-scale benchmark called Syn2Real, which consists of a synthetic domain rendered from 3D object models and two real-image domains containing the same object categories. We define three related tasks on this benchmark: closed-set object classification, open-set object classification, and object detection. Our evaluation of multiple state-of-the-art methods reveals a large gap in adaptation performance between the easier closed-set classification task and the more difficult open-set and detection tasks. We conclude that developing adaptation methods that work well across all three tasks presents a significant future challenge for syn2real domain transfer.

研究の動機と目的

• 頑健な物体認識のための合成データから実画像への非教師あり転移を動機づける。
• 固定された合成ソースと2つの実世界ターゲットドメインを持つ、大規模なマルチタスクベンチマーク（分類と検出）を提供する。
• タスクを横断して最先端のUDA手法を比較し、異なる設定で適応が成功する理由と失敗する理由を分析する。
• 合成-to-実世界ドメイン転送の進展を促すために、オープンソースのデータ、コード、および3Dモデルを提供する。

提案手法

• 12カテゴリの物体について、3D CADモデルから合成ソースドメインを作成する。
• 検証用にMS COCOのクロップ画像、テスト用にYouTube Bounding Boxesという2つの実世界ターゲットドメインを構築する。
• 非教師ありドメイン適応の下で、3つのタスク（Syn2Real-C closed-set classification、Syn2Real-O open-set classification、Syn2Real-D detection）を定義する。
• ベースライン (DAN、Deep CORAL) および最先端の挑戦解決策 (Self-Ensembling SE) を評価する。
• 合成データ量、ターゲット画像サイズ、合成背景、事前学習など、適応に影響する要因を分析する。
• 公開データセット、ベンチマーク、オープンソースのレンダリングパイプラインおよび3Dモデルを提供する。

実験結果

リサーチクエスチョン

• RQ1 既存の非教師ありドメイン適応手法は、合成ソースから実世界ターゲットへの転送を分類と検出のタスクでどれほどうまく機能するか。
• RQ2 合成-to-実世界転送における閉セット、オープンセット、検出の相対的な難しさとギャップは何か。
• RQ3 データ量、画像解像度、背景のリアリズムなどの要因が適応性能にどのように影響するか。

主な発見

• UDA手法はソースのみの性能を上回る。例えば、Deep CORALとDANはSyn2Real-Cで検証精度をそれぞれ28.1%から45.5%、51.6%へ向上させる。
• オープンセットおよび検出タスクは閉セット分類よりはるかに難しく、インドメイン内やオラクル性能とのギャップも大きい。
• SE (Self-Ensembling) 手法がトップの課題結果を達成し、パフォーマンスを大幅に向上させた（例：Syn2Real-Cのソースモデルで45.3%から91.8%へ）。
• ImageNetでの事前学習は適応を大幅に高める一方、十分な合成データがない状態でのスクラッチ訓練（SE*）は性能が低い。
• 検出タスクでは、分類に有効な適応法がエンドツーエンドの検出器には直接転用できず、新しいアプローチが必要であることを示している。