[論文レビュー] Improve Object Detection by Data Enhancement based on Generative Adversarial Nets

Wei Jiang, Na Ying|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 10被引用数 8

ひとこと要約

本論文では、前景オブジェクトのリアルなバリエーションを生成しながら意味的整合性を保つことで、オブジェクト検出を向上させるGANベースのデータ拡張手法を提案する。前景・背景分離モデルを用いて、オブジェクト領域に対して色のジャイタリング、ノイズ注入、コントラスト強調を適用することで、DSSDを用いた321×321入力で、VOC2007ではmAPが1.2%向上（78.7%）、VOC2012では1.0%向上（76.6%）を達成した。

ABSTRACT

The accuracy of the object detection model depends on whether the anchor boxes effectively trained. Because of the small number of GT boxes or object target is invariant in the training phase, cannot effectively train anchor boxes. Improving detection accuracy by extending the dataset is an effective way. We propose a data enhancement method based on the foreground-background separation model. While this model uses a binary image of object target random perturb original dataset image. Perturbation methods include changing the color channel of the object, adding salt noise to the object, and enhancing contrast. The main contribution of this paper is to propose a data enhancement method based on GAN and improve detection accuracy of DSSD. Results are shown on both PASCAL VOC2007 and PASCAL VOC2012 dataset. Our model with 321x321 input achieves 78.7% mAP on the VOC2007 test, 76.6% mAP on the VOC2012 test.

研究の動機と目的

• オブジェクト検出データセットにおける限られたまたは変化のないオブジェクトアノテーションの課題に対処すること。
• 追加のアノテーションを必要とせず、リアルで多様なオブジェクトのバリエーションを用いて訓練データを拡張することで、検出精度を向上させること。
• オブジェクトの意味を保持しながら視覚的多様性を導入する前景に配慮したデータ拡張戦略を開発すること。
• 特にPASCAL VOC2007およびVOC2012といった標準ベンチマークにおいて、GANベースの拡張の有効性を実証すること。
• 的を絞った意味的整合性を保つデータ拡張によって、DSSD検出器の性能を向上させること。

提案手法

• 入力画像内のオブジェクト領域を特定・分離する前景・背景分離モデルを訓練する。
• 色チャネルのジャイタリング、ソルトアンドペッパー雑音、コントラスト強調といったデータ拡張技術を、前景オブジェクト領域にのみ適用する。
• オブジェクトの同一性と文脈を維持するリアルな摂動を合成するため、GANベースのジェネレータを用いる。
• 拡張された画像を訓練セットに統合し、モデルの一般化性能およびアンカーボックス学習を向上させる。
• 321×321の入力解像度で、拡張されたデータセット上でDSSD検出器をファインチューニングする。
• 生成画像が現実的で多様であることを保証するため、敵対的訓練を活用し、拡張におけるモード崩壊を回避する。

実験結果

リサーチクエスチョン

• RQ1 限られた実際の訓練データが利用可能な状況下で、GANベースのデータ拡張はオブジェクト検出性能を向上させることができるか？
• RQ2 前景特化のデータ拡張は、標準的な拡張手法よりも優れた一般化性能をもたらすか？
• RQ3 意味的整合性を保つ摂動は、アンカーボックス学習を強化し、標準ベンチマークにおけるmAPを向上させることができるか？
• RQ4 VOCデータセットにおけるmAPの向上度に関して、提案手法はベースラインのデータ拡張と比較してどの程度優れているか？
• RQ5 前景・背景分離モデルの使用は、拡張データの現実性と有効性をどの程度向上させるか？

主な発見

• 提案手法は、PASCAL VOC2007のテストセットで78.7%のmAPを達成し、ベースラインDSSD比で1.2%の向上を示した。
• PASCAL VOC2012のテストセットでは、76.6%のmAPを達成し、ベースライン比で1.0%の向上を示した。
• 前景に配慮した拡張戦略は、オブジェクトの外観の多様性を効果的に増加させつつ、意味的整合性を保持した。
• GANベースのジェネレータは、検出器の視覚的変動に対するロバストネスを向上させるリアルで多様な拡張を生成した。
• 本手法は、VOC2007およびVOC2012の両方で一貫した性能向上を示し、一般化能力を裏付けた。
• 結果から、オブジェクト領域に焦点を当てた的を絞ったデータ拡張が、グローバルな画像変換よりも効果的であることが確認された。