[논문 리뷰] Modeling Camera Effects to Improve Deep Vision for Real and Synthetic Data

Alexandra Carlson, Katherine A. Skinner외 1명|arXiv (Cornell University)|2018. 03. 21.

Advanced Neural Network Applications참고 문헌 37인용 수 9

한 줄 요약

이 논문은 실물 및 합성 도시 환경 영상에서 키 센서 수준의 영향—색수차, 블러, 노출, 노이즈, 색조편향—을 시뮬레이션하는 자동화된 물리 기반 데이터 증강 파이프라인을 제안한다. 이와 같은 변형을 학습 중에 적용함으로써, 기준 차량 데이터셋에서 객체 검출 모델의 강건성과 일반화 능력이 크게 향상된다.

ABSTRACT

Recent work has focused on generating synthetic imagery and augmenting real imagery to increase the size and variability of training data for learning visual tasks in urban scenes. This includes increasing the occurrence of occlusions or varying environmental and weather effects. However, few have addressed modeling the variation in the sensor domain. Unfortunately, varying sensor effects can degrade performance and generalizability of results for visual tasks trained on human annotated datasets. This paper proposes an efficient, automated physically-based augmentation pipeline to vary sensor effects -- specifically, chromatic aberration, blur, exposure, noise, and color cast -- across both real and synthetic imagery. In particular, this paper illustrates that augmenting training datasets with the proposed pipeline improves the robustness and generalizability of object detection on a variety of benchmark vehicle datasets.

연구 동기 및 목표

• 시각 작업을 위한 딥러닝을 위한 데이터 증강에서 센서 효과 모델링의 부족을 해결하기 위해.
• 학습 데이터에 현실적인 센서 수준의 변형을 시뮬레이션하여 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 실물 및 핼성 영상에 모두 적용 가능한 효율적이고 자동화된 파이프라인을 개발하기 위해.
• 다양한 기준 데이터셋에서 센서 기반 증강의 영향을 평가하기 위해.

제안 방법

• 파이프라인은 학습 영상에 색수차, 블러, 노출, 노이즈, 색조편향 등의 물리 기반 시뮬레이션을 적용한다.
• 각 센서 효과는 현실성을 확보하기 위해 기존의 광학 및 센서 물리학 원리를 사용하여 모델링된다.
• 수동 재표기 없이 데이터 전처리 중에 자동으로 효율적으로 증강이 적용된다.
• 실제 레이블이 부여된 데이터셋과 시뮬레이션 환경에서 생성된 합성 데이터 모두와 호환된다.
• 기존 학습 워크플로우에 최소한의 계산 오버헤드로 통합될 수 있도록 설계되었다.
• 다양한 학습 샘플 간에 일관되고 통제 가능한 센서 효과의 변형을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 증강 중에 센서 수준의 효과를 시뮬레이션하면 객체 검출 모델의 일반화에 어떤 영향을 미치는가?
• RQ2 센서 기반 증강은 실세계 기준 데이터셋에서 성능을 얼마나 향상시키는가?
• RQ3 실물 및 합성 데이터 모두에서 학습할 때 제안된 파이프라인이 강건성을 향상시킬 수 있는가?
• RQ4 개별 센서 효과(예: 블러, 노이즈)가 모델의 일반화 향상에 기여하는 정도는 어떠한가?
• RQ5 센서 증강으로 인한 향상은 다양한 차량 검출 기준 데이터셋에서 일관되게 나타나는가?

주요 결과

• 제안된 증강 파이프라인은 여러 기준 차량 데이터셋에서 객체 검출의 강건성을 크게 향상시킨다.
• 센서 증강 데이터로 학습된 모델은 예측되지 않은 실세계 조건으로의 일반화 능력이 향상된다.
• 실물 및 합성 학습 데이터 양쪽 모두에서 개선 효과가 일관되므로 광범위한 적용 가능성이 있음을 시사한다.
• 시험 환경에서 센서 특유의 아티팩트로 인한 성능 저하를 효과적으로 줄인다.
• 최소한의 계산 오버헤드로 이러한 성과를 달성하여 실세계 구현에 실용적이다.
• 결과적으로 센서 효과를 모델링하는 것이 시각 작업을 위한 데이터 증강에서 중요한 요소이지만 아직 탐색이 부족한 요소임을 입증한다.