[논문 리뷰] Material Classification in the Wild: Do Synthesized Training Data Generalise Better than Real-World Training Data?

Grigorios Kalliatakis, Anca Sticlaru외 5명|arXiv (Cornell University)|2017. 11. 09.

Advanced Neural Network Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 제약 없는 환경에서 소재 분류 작업에서 합성된 훈련 데이터가 실제 세계 데이터보다 일반화 성능이 뛰어나다는지를 조사한다. 세 개의 실제 소재 데이터셋에 대해 사전 훈련된 CNN을 사용하여, 합성 데이터가 평균 평균 정밀도(mAP)를 5%에서 19% 향상시키며, 교차 데이터셋 평가에서 최대 91.03%에 도달함을 입증한다. 이는 실제 데이터보다 더 뛰어난 일반화 능력을 보임을 시사한다.

ABSTRACT

We question the dominant role of real-world training images in the field of material classification by investigating whether synthesized data can generalise more effectively than real-world data. Experimental results on three challenging real-world material databases show that the best performing pre-trained convolutional neural network (CNN) architectures can achieve up to 91.03% mean average precision when classifying materials in cross-dataset scenarios. We demonstrate that synthesized data achieve an improvement on mean average precision when used as training data and in conjunction with pre-trained CNN architectures, which spans from ~ 5% to ~ 19% across three widely used material databases of real-world images.

연구 동기 및 목표

• 제약 없는 환경에서 실제 세계 훈련 데이터가 소재 분류에 있어 우월하다는 가정을 도전하기 위해.
• 합성 데이터가 소재 인식 작업에서 실제 세계 데이터보다 더 잘 일반화되는지 평가하기 위해.
• 사전 훈련된 CNN 모델이 실제 세계 소재 데이터베이스에서 합성 데이터로 미세조정되었을 때의 성능을 평가하기 위해.
• 세 가지 널리 사용되는 실제 세계 소재 데이터셋 간의 교차 데이터셋 평가 설정에서 일반화 성능를 비교하기 위해.

제안 방법

• 통제된 조건에서 생성된 합성 소재 데이터를 사용해 사전 훈련된 합성곱 신경망(CNN) 아키텍처를 훈련하기 위해.
• 교차 데이터셋 설정에서 세 개의 실제 세계 소재 데이터베이스에서 모델 성능을 평가하여 일반화 능력을 측정하기 위해.
• 실제 데이터와 합성 데이터로 훈련된 모델 간 성능 비교를 위해 평균 평균 정밀도(mAP)를 주요 지표로 사용하기 위해.
• 합성 훈련 샘플의 다양성과 현실성 향상을 위해 데이터 증강 및 도메인 랜덤화 기법을 적용하기 위해.
• 실제 세계 테스트 세트에서 테스트하기 전에 ImageNet으로 사전 훈련된 CNN을 합성 데이터로 미세조정하기 위해.
• 모델 일반화에 대한 데이터 소스(실제 대비 합성)의 영향을 평가하기 위해 분석 실험(Ablation study)를 수행하기 위해.

실험 결과

연구 질문

• RQ1 합성 훈련 데이터가 소재 분류 작업에서 실제 세계 훈련 데이터보다 더 잘 일반화될 수 있는가?
• RQ2 다양한 실제 세계 소재 데이터베이스에서 합성 데이터로 훈련한 모델 성능과 실제 세계 데이터로 훈련한 성능는 어떻게 다를까?
• RQ3 교차 데이터셋 소재 분류 시나리오에서 합성 데이터 사용이 평균 평균 정밀도(mAP)에 얼마나 기여하는가?
• RQ4 사전 훈련된 CNN을 합성 훈련 데이터와 함께 사용할 경우 일반화 성능가 향상되는가?

주요 결과

• 평가된 세 개의 실제 세계 소재 데이터베이스에서 합성 훈련 데이터는 실제 세계 데이터보다 평균 평균 정밀도(mAP)를 최대 19% 향상시켰다.
• 합성 데이터로 훈련된 최고의 모델은 교차 데이터셋 소재 분류에서 91.03%의 평균 평균 정밀도를 기록했다.
• 합성 데이터로 인한 성능 향상은 세 개의 실제 세계 소재 데이터셋 전반에서 일관되게 나타났으며, mAP 향상 폭은 5%에서 19%에 이르렀다.
• 실제 세계 데이터로 훈련된 모델 대비, 합성 데이터로 미세조정된 사전 훈련된 CNN 모델이 교차 데이터셋 평가에서 더 효과적으로 일반화되었다.
• 결과적으로, 제약 없는 환경에서 강력한 소재 분류 모델을 훈련시키기 위해 합성 데이터가 실제 세계 데이터보다 더 효과적일 수 있음을 시사한다.