[論文レビュー] Learning to Generate Synthetic Data via Compositing

Shashank Tripathi, Siddhartha Chandra+4 more|arXiv (Cornell University)|Apr 10, 2019

Anomaly Detection Techniques and Applications参考文献 47被引用数 6

ひとこと要約

本論文は、タスクに適応した、効率的で現実的な合成データ生成フレームワークであるTERSEを提案する。このフレームワークは、ターゲットネットワークと実画像識別器とを敵対的に訓練するトレーニング可能合成ネットワークを用いて、高品質なトレーニングサンプルを生成する。本手法は、オブジェクト検出および分類性能を最大3.5% mAP向上させ、訓練データを半分に減らしてもベースラインを上回り、合成データに混入する類似したブレンドアーティファクトを背景領域に挿入することで、ブレンドアーティファクトへの過学習を軽減する。

ABSTRACT

We present a task-aware approach to synthetic data generation. Our framework employs a trainable synthesizer network that is optimized to produce meaningful training samples by assessing the strengths and weaknesses of a `target' network. The synthesizer and target networks are trained in an adversarial manner wherein each network is updated with a goal to outdo the other. Additionally, we ensure the synthesizer generates realistic data by pairing it with a discriminator trained on real-world images. Further, to make the target classifier invariant to blending artefacts, we introduce these artefacts to background regions of the training images so the target does not over-fit to them. We demonstrate the efficacy of our approach by applying it to different target networks including a classification network on AffNIST, and two object detection networks (SSD, Faster-RCNN) on different datasets. On the AffNIST benchmark, our approach is able to surpass the baseline results with just half the training examples. On the VOC person detection benchmark, we show improvements of up to 2.7% as a result of our data augmentation. Similarly on the GMU detection benchmark, we report a performance boost of 3.5% in mAP over the baseline method, outperforming the previous state of the art approaches by up to 7.5% on specific categories.

研究の動機と目的

• 既存の合成データ生成手法が低価値または非現実的なサンプルを生成するという非効率性とドメインギャップを解消すること。
• タスクに適応した合成データ生成アプローチを開発し、ターゲットネットワークの性能を向上させるハードで意味のある例を生成すること。
• 実画像の識別器を用いてトレーニングすることで、合成データが自然画像の分布に適合し、リアリズムを確保すること。
• 合成の際、背景領域に類似したアーティファクトを挿入することで、ターゲットネットワークがこのようなアーティファクトに対して不変になるようにすること。
• 本フレームワークを用いて生成された合成データが、データ要件を削減しながら最先端の性能を達成できることを実証すること。

提案手法

• 三つのネットワークで構成される敵対的フレームワーク：合成ネットワーク、ターゲットネットワーク、実画像識別器。これらは同時に訓練され、相互に性能を向上させる。
• 合成ネットワークは、最適化されたアフィン変換を施した前景オブジェクトを背景画像に合成し、ターゲットネットワークと識別器ネットワークの両方を欺く合成トレーニングサンプルを生成する。
• ターゲットネットワークは合成データで訓練され、分類または検出精度が向上し、そのフィードバックが合成ネットワークに送られる。
• 実画像識別器は実世界の画像で訓練され、合成合成物が自然画像の分布に適合することを保証し、リアリズムを向上させる。
• ブレンドアーティファクトは、前景の形状に一致するカットアウトを貼り付けることで背景領域に挿入され、ターゲットネットワークがこのようなアーティファクトに対して不変になるようにする。
• 本フレームワークは、分類（AffNIST）、オブジェクト検出（VOCにおけるSSD）、インスタンス検出（GMU KitchenにおけるFaster R-CNN）のタスクにエンドツーエンドで適用される。

実験結果

リサーチクエスチョン

• RQ1 タスクに適応した効率的で、より少ないがより効果的なトレーニングサンプルを生成できる合成データ生成手法を設計できるか？
• RQ2 合成データ生成が、元来ターゲットモデルの過学習を引き起こすブレンドアーティファクトに対してどのように耐性を持たせられるか？
• RQ3 合成ネットワーク、ターゲットネットワーク、識別器の間で敵対的訓練を実施することで、モデルの一般化性能と性能がどの程度向上するか？
• RQ4 合成コンポジティングによって生成された合成データが、ベースラインのデータ拡張法や最先端手法を上回る性能を示せるか？
• RQ5 実画像識別器の導入が、合成データのリアリズムと一般化性能を顕著に向上させるか？

主な発見

• AffNISTベンチマークでは、本手法が訓練データの50%のみでベースラインを上回る優れた性能を達成した。
• VOCの人物検出ベンチマークでは、IoU閾値0.8でmAPが最大2.7%向上し、ベースラインおよび先行研究を上回った。
• GMU Kitchenデータセットでは、ベースラインのFaster R-CNNに対してmAPが3.5%向上し、先行の最先端手法を1%上回った。
• 「palmolive-orange」などの特定のカテゴリでは、先行手法と比較して精度が最大7.5%向上した。
• 実画像識別器の追加により、高いIoU閾値（例：0.8）での性能が向上し、バウンディングボックスの局所化精度が向上した。
• アブレーションスタディの結果、背景アーティファクト、識別器、ドロップアウトの各コンポonentが段階的に性能向上に寄与しており、特に識別器が真のボックスとの整合性を顕著に向上させた。