[論文レビュー] Modeling Camera Effects to Improve Deep Vision for Real and Synthetic Data

Alexandra Carlson, Katherine A. Skinner+1 more|arXiv (Cornell University)|Mar 21, 2018

Advanced Neural Network Applications参考文献 37被引用数 9

ひとこと要約

本論文は、実際の都市シーン画像および合成された都市シーン画像の両方において、色収差、ぼかし、露出、ノイズ、色かぶりといった重要なセンサーレベルの効果をシミュレートする、自動的で物理に基づくデータ拡張パイプラインを提案する。訓練中にこれらの変異を適用することにより、ベンチマーク車両データセットにおけるオブジェクト検出モデルの耐障害性と一般化性能が顕著に向上する。

ABSTRACT

Recent work has focused on generating synthetic imagery and augmenting real imagery to increase the size and variability of training data for learning visual tasks in urban scenes. This includes increasing the occurrence of occlusions or varying environmental and weather effects. However, few have addressed modeling the variation in the sensor domain. Unfortunately, varying sensor effects can degrade performance and generalizability of results for visual tasks trained on human annotated datasets. This paper proposes an efficient, automated physically-based augmentation pipeline to vary sensor effects -- specifically, chromatic aberration, blur, exposure, noise, and color cast -- across both real and synthetic imagery. In particular, this paper illustrates that augmenting training datasets with the proposed pipeline improves the robustness and generalizability of object detection on a variety of benchmark vehicle datasets.

研究の動機と目的

• ディープラーニングのビジョンタスクにおけるデータ拡張において、センサ効果のモデリングが不足している問題に対処すること。
• 訓練データに現実的なセンサレベルの変異をシミュレートすることで、モデルの一般化性能と耐障害性を向上させること。
• 実画像および合成画像の両方に適用可能な、効率的で自動化されたパイプラインの開発。
• 異なるベンチマークデータセットにおけるセンサベースの拡張の影響を評価すること。

提案手法

• パイプラインは、訓練画像に物理的に基づく色収差、ぼかし、露出、ノイズ、色かぶりのシミュレーションを適用する。
• 各センサ効果は、確立された光学およびセンサの物理原則を用いてモデリングされ、リアリズムを確保する。
• 手動での再アノテーションを必要とせず、データ前処理段階で自動的かつ効率的に拡張が行われる。
• 本手法は、実際のアノテーション済みデータセットおよびシミュレーション環境から生成された合成データの両方と互換性を持つ。
• 既存の訓練ワークフローに最小限の計算オーバーヘッドで統合可能に設計されている。
• 多様な訓練サンプルにわたり、一貫性があり制御されたセンサ効果の変異を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ拡張中にセンサレベルの効果をシミュレートすることは、オブジェクト検出モデルの一般化性能にどのように影響するか？
• RQ2 センサベースの拡張は、実世界のベンチマークデータセットにおける性能にどの程度向上をもたらすか？
• RQ3 本パイプラインは、実画像および合成データの両方を用いた学習において耐障害性を向上させることができるか？
• RQ4 個々のセンサ効果（例：ぼかし、ノイズ）は、モデルの一般化性能向上にどの程度寄与するか？
• RQ5 センサ拡張による改善は、さまざまな車両検出ベンチマークで一貫しているか？

主な発見

• 提案された拡張パイプラインは、複数のベンチマーク車両データセットにおけるオブジェクト検出の耐障害性を顕著に向上させる。
• センサ拡張データで訓練されたモデルは、未観測の実世界条件への一般化性能が向上している。
• 改善効果は実画像および合成データの両方で一貫しており、広範な適用可能性を示している。
• 本手法は、テスト環境におけるセンサ固有のアーチファクトに起因する性能低下を効果的に低減する。
• 最小限の計算オーバーヘッドでこれらの利点を達成しており、実世界への展開に実用的である。
• 結果から、ビジョンタスクのデータ拡張において、センサ効果のモデリングが重要であるが、まだ十分に検討されていない要因であることが示された。