[논문 리뷰] Training Object Detectors on Synthetic Images Containing Reflecting Materials

Sebastian Hartwig, Timo Ropinski|arXiv (Cornell University)|2019. 03. 29.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 비물리적 BRDF와 환경 맵, 도메인 랜덤라이제이션, 물리 기반 몽테카를로 레이 트레이싱을 포함한 세 가지 렲링 전략을 사용하여 거울처럼 반사되는 재료(예: 욕실 기구)를 포함하는 합성 이미지에서 객체 검출기를 훈련시키는 것을 조사한다. 주요 발견은 사진처럼 사실적인 레이어링과 도메인 랜덤라이제이션의 조합이 유일하게 실제 이미지로의 일반화를 효과적으로 가능하게 하며, 변하지 않는 유사한 물체(변기, 비데, 소변기 등)의 하위 클래스 검출에서 뛰어난 성능을 달성한다는 것이다.

ABSTRACT

One of the grand challenges of deep learning is the requirement to obtain large labeled training data sets. While synthesized data sets can be used to overcome this challenge, it is important that these data sets close the reality gap, i.e., a model trained on synthetic image data is able to generalize to real images. Whereas, the reality gap can be considered bridged in several application scenarios, training on synthesized images containing reflecting materials requires further research. Since the appearance of objects with reflecting materials is dominated by the surrounding environment, this interaction needs to be considered during training data generation. Therefore, within this paper we examine the effect of reflecting materials in the context of synthetic image generation for training object detectors. We investigate the influence of rendering approach used for image synthesis, the effect of domain randomization, as well as the amount of used training data. To be able to compare our results to the state-of-the-art, we focus on indoor scenes as they have been investigated extensively. Within this scenario, bathroom furniture is a natural choice for objects with reflecting materials, for which we report our findings on real and synthetic testing data.

연구 동기 및 목표

• 반사 환경로를 지닌 특수 재료(예: 스테인리스 스틸, 크롬 도금)로 인해 검출이 복잡해지는 특수 재료를 위한 강력한 객체 검출기를 훈련시키는 데 도전한다.
• 고반사성 재료(예: 스테인리스 스틸 또는 크롬 도금 욕실 기구)에 대해 현실과의 격차를 메울 수 있는 합성 데이터의 가능성을 조사한다.
• 비물리적 BRDF, 도메인 랜덤라이제이션, 물리 기반 레이 트레이싱을 포함한 다양한 렌더링 기법이 합성 데이터에서 검출기 훈련에 얼마나 효과적인지 평가한다.
• 합성 훈련 데이터만을 사용하여 실제 이미지에서 매우 유사한 하위 클래스(예: 변기, 비데, 소변기)를 구분할 수 있는 검출기를 가능하게 한다.
• 훈련 분포를 초월한 실제 데이터에서 훈련된 검출기의 일반화 능력을 검증한다.

제안 방법

• 세 가지 이미지 합성 전략을 사용하였다: (1) 환경 맵를 사용한 BRDF 기반 렌더링, (2) 다양한 환경에 노출되도록 도메인 랜덤라이제이션을 적용, (3) 도메인 랜덤라이제이션과 결합된 물리적으로 정확한 몽테카를로 레이 트레이싱.
• 훈련 데이터는 반사 재료를 가진 욕실 가구의 3D 모델을 사용하여 다양한 조명 및 환경 조건에서 렌더링하여 생성되었다.
• 객체 검출기는 배치 크기가 8인 Faster R-CNN을 사용하여 분류에 포지티브 로스, 박스 회귀에 스무스 L1 로스를 적용하여 훈련되었다.
• 제안된 합성 데이터셋(SC)에서 훈련된 검출기와 Zhang et al.의 [26] 대규모 물리 기반 데이터셋에서 훈련된 검출기 간의 비교 평가를 실시하였다.
• 성능 평가는 저자들이 자체 확보한 데이터셋과 ADE20K 데이터셋의 실제 이미지에서 평가되었으며, 주요 지표로 mAP@.5를 사용하였다.
• 교차 데이터셋 비교를 위해 SC 데이터셋의 클래스 라벨을 ADE20K 및 Zhang et al. 데이터셋과 일치하도록 재맵핑하였다.

실험 결과

연구 질문

• RQ1 반사 재료를 포함하는 합성 이미지를 사용하여 실제 이미지로 일반화되는 객체 검출기를 훈련시킬 수 있는가?
• RQ2 비물리적 렌더링 대비 물리 기반 렌더링 방법의 선택이 검출기 일반화에 어떤 영향을 미치는가?
• RQ3 반사 재료를 포함한 합성 데이터에서 훈련할 경우 도메인 랜덤라이제이션의 영향은 검출기 성능에 어떤가?
• RQ4 합성 데이터에서 훈련된 검출기가 실제 이미지에서 매우 유사한 하위 클래스의 욕실 기구(예: 변기, 비데, 소변기)를 구분할 수 있는가?
• RQ5 특화된 합성 데이터셋에서 훈련된 검출기의 성능과 일반 목적의 대규모 합성 데이터셋에서 훈련된 검출기의 성능는 어떻게 비교되는가?

주요 결과

• 저자들이 제안한 합성 데이터셋(SC)에서 훈련된 검출기는 자체 데이터셋의 실제 이미지에서 mAP@.5가 0.86을 기록하여 하위 클래스 검출 과제에서 뛰어난 성능을 보였다.
• Zhang et al.의 [26] 데이터셋에서 훈련된 검출기는 ADE20K의 실제 이미지에서 더 높은 성능(표준 mAP@.5 = 0.84 대비 0.60)을 기록하여 다양한 실제 환경으로의 일반화 능력이 뛰어났다.
• SC 기반 검출기는 ADE20K 이미지에서 실패했으며, mAP@.5가 0.60에 그쳐 특정 훈련 분포를 초월한 일반화 능력이 제한적임을 시사했다.
• Zhang et al.의 데이터셋에서 훈련된 검출기는 저자들의 실제 이미지에서 성능이 열악했으며, mAP@.5가 0.47에 그쳐 하위 클래스 검출 과제와의 정렬이 떨어짐을 나타냈다.
• 유일하게 물리 기반 렌더링과 도메인 랜덤라이제이션의 조합이 실제 이미지로의 효과적인 일반화를 가능하게 했으며, 비물리적 방법은 현실 격차를 메우지 못했다.
• 본 연구는 반사성 재료를 가진 매우 유사한 하위 클래스의 욕실 기구 검출이, 렌더링의 정확성과 도메인 랜덤라이제이션을 적절히 조합할 경우 합성 데이터로 가능하다는 것을 확인했다.