[論文レビュー] Training Object Detectors on Synthetic Images Containing Reflecting Materials

Sebastian Hartwig, Timo Ropinski|arXiv (Cornell University)|Mar 29, 2019

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

本論文は、浴槽や蛇口などの鏡面（反射）素材を含む合成画像を用いてオブジェクト検出器を訓練する手法を調査し、非物理的BRDFと環境マップ、ドメインランダマイゼーション、物理ベースのモンテカルロレイトラーシングの3つのレンダリング戦略を用いる。主な発見は、写真のようにリアルなレンダリングとドメインランダマイゼーションの組み合わせのみが、便座、洗面器、小便器など非常に類似したオブジェクトのサブクラス検出において、実世界の画像への一般化を効果的に可能にすることである。

ABSTRACT

One of the grand challenges of deep learning is the requirement to obtain large labeled training data sets. While synthesized data sets can be used to overcome this challenge, it is important that these data sets close the reality gap, i.e., a model trained on synthetic image data is able to generalize to real images. Whereas, the reality gap can be considered bridged in several application scenarios, training on synthesized images containing reflecting materials requires further research. Since the appearance of objects with reflecting materials is dominated by the surrounding environment, this interaction needs to be considered during training data generation. Therefore, within this paper we examine the effect of reflecting materials in the context of synthetic image generation for training object detectors. We investigate the influence of rendering approach used for image synthesis, the effect of domain randomization, as well as the amount of used training data. To be able to compare our results to the state-of-the-art, we focus on indoor scenes as they have been investigated extensively. Within this scenario, bathroom furniture is a natural choice for objects with reflecting materials, for which we report our findings on real and synthetic testing data.

研究の動機と目的

• 鏡面素材は周囲を反射するため検出を複雑にするため、そのような素材向けに頑健なオブジェクト検出器を訓練する課題に対処すること。
• 高反射性を示す物体（ステンレスやクローム製のバスルーム装飾品など）に対して、合成データが現実世界とのギャップを埋められることを検証すること。
• 非物理的BRDF、ドメインランダマイゼーション、物理ベースのレイトラーシングの3つのレンダリング技術が、合成データで検出器を訓練する際にどの程度有効であるかを評価すること。
• 合成データのみを用いて、実画像における非常に類似したバスルーム用品のサブクラス（例：トイレ、洗面器、小便器）を識別できる検出器を実現すること。
• 訓練分布を超えた実世界データにおける、訓練済み検出器の一般化能力を検証すること。

提案手法

• 3つの画像合成戦略を採用した：(1) 環境マップを用いたBRDFベースのレンダリング、(2) モデルが多様な環境にさらされるようにドメインランダマイゼーションを適用、(3) ドメインランダマイゼーションを組み合わせた物理的に正しいモンテカルロレイトラーシング。
• 訓練データは、鏡面素材を有するバスルーム家具の3Dモデルを用い、照明条件や環境条件を変化させてレンダリングした。
• オブジェクト検出器は、分類にフォーカル損失、ボックス回帰にスムーズL1損失を用い、バッチサイズ8でFaster R-CNNを用いて訓練した。
• 本研究で提案する合成データセット（SC）で訓練した検出器と、Zhangら[26]の大型物理ベースデータセットで訓練した検出器との比較評価を実施した。
• 性能評価は、著者らの独自データセットおよびADE20Kデータセットの実画像を用い、主にmAP@.5を指標とした。
• 異なるデータセット間での比較を可能にするために、SCデータセットのクラスラベルをADE20KおよびZhangらのデータセットと一致させるために再マッピングを行った。

実験結果

リサーチクエスチョン

• RQ1 鏡面素材を含む合成画像を用いて、実世界の画像に一般化可能なオブジェクト検出器を訓練できるか？
• RQ2 レンダリング手法の選択（非物理的 vs 物理ベース）が、検出器の一般化性能に与える影響は何か？
• RQ3 反射素材を含む合成データで訓練する際、ドメインランダマイゼーションが検出器性能に与える影響は何か？
• RQ4 合成データで訓練した検出器は、実画像において非常に類似したバスルーム用品のサブクラスを区別できるか？
• RQ5 専用の合成データセットで訓練した検出器の性能は、汎用的で大規模な合成データセットで訓練した検出器と比べてどうか？

主な発見

• 著者らが開発した合成データセット（SC）で訓練した検出器は、自らのデータセットの実画像においてmAP@.5が0.86を達成し、サブクラス検出の挑戦に対して強力な性能を示した。
• Zhangら[26]のデータセットで訓練した検出器は、ADE20Kの実画像においてより高い性能を示した（mAP@.5 = 0.84 対 0.60）、これはより良い実世界シーンへの一般化能力を示している。
• SCベースの検出器はADE20Kの画像では失敗した（mAP@.5 = 0.60）、これは特定の訓練分布を超えた一般化が限定的であることを示唆している。
• Zhangらのデータセットで訓練した検出器は、著者らの実画像では性能が低かった（mAP@.5 = 0.47）、これはサブクラス検出タスクとの整合性が低いことを示している。
• 物理ベースのレンダリングとドメインランダマイゼーションの組み合わせのみが、実世界の画像への効果的な一般化を可能にした。非物理的手法では現実世界とのギャップを埋められなかった。
• 本研究では、レンダリングの忠実度とドメインランダマイゼーションを適切に組み合わせることで、非常に類似した鏡面素材のバスルーム用品のサブクラス検出が合成データを用いて可能であると確認した。