[논문 리뷰] Domain Adaptation with Joint Learning for Generic, Optical Car Part Recognition and Detection Systems (Go-CaRD)

Lukas Stappen, Xinchen Du외 3명|arXiv (Cornell University)|2020. 06. 15.

Advanced Neural Network Applications참고 문헌 43인용 수 4

한 줄 요약

이 논문은 다양한 실제 자동차 환경에서 성능을 향상시키기 위해 공동 학습과 도메인 적응을 활용한 일반적인 광학적 자동차 부품 인식 및 검출 시스템인 Go-CaRD를 제안한다. 인간-차량 상호작용이 포함된 새로운 공개 데이터셋 MuSe-CAR-Part를 기반으로 훈련함으로써, 인식에 대해 F1 스코어 93.67%와 검출에 대해 mAP 63.01%를 달성하였으며, 표준 미세조정 및 비지도 도메인 적응보다 테스트 세트에서 mAP가 5%p 이상 높게 개선되었다.

ABSTRACT

Systems for the automatic recognition and detection of automotive parts are crucial in several emerging research areas in the development of intelligent vehicles. They enable, for example, the detection and modelling of interactions between human and the vehicle. In this paper, we quantitatively and qualitatively explore the efficacy of deep learning architectures for the classification and localisation of 29 interior and exterior vehicle regions on three novel datasets. Furthermore, we experiment with joint and transfer learning approaches across datasets and point out potential applications of our systems. Our best network architecture achieves an F1 score of 93.67 % for recognition, while our best localisation approach utilising state-of-the-art backbone networks achieve a mAP of 63.01 % for detection. The MuSe-CAR-Part dataset, which is based on a large variety of human-car interactions in videos, the weights of the best models, and the code is publicly available to academic parties for benchmarking and future research.

연구 동기 및 목표

• 실제 환경에서 다양한 조건에서 29종의 내외부 자동차 부품을 광학적으로 인식하고 검출할 수 있는 일반적이고 강력한 시스템을 개발하기 위해.
• 동적인 인간 상호작용 환경에서 미세한 자동차 부품 검출을 위한 데이터셋과 모델의 부족 문제를 해결하기 위해.
• 원천 도메인(사람 없음)과 대상 도메인(사람에 의한 가림 있음)의 데이터를 동시에 훈련하여 공유 표현을 학습하고 빛의 변화 및 인간 상호작용으로 인한 분포 이동에 적응할 수 있도록 공동 학습 및 도메인 적응 프레임워크를 도입함으로써 모델의 일반화 능력을 향상시키기 위해.
• 향후 연구 및 벤치마킹을 지원하기 위해 새로운 대규모 공개 데이터셋(MuSe-CAR-Part)과 훈련된 모델을 공개하기 위해.

제안 방법

• 저자들은 세 가지 새로운 데이터셋을 구축했다: Close-CAR(근접 촬영, 열악한 조건), Mix-CAR(다양한 모델, 다양한 구성), MuSe-CAR-Part(인간-차량 상호작용 영상)로, 특히 마지막 데이터셋은 공개적으로 제공되었다.
• 최신의 CNN 백본(예: Darknet)을 사용하여 공동 학습에 적합하도록 변형하였으며, 원천 도메인(사람 없음)과 대상 도메인(사람에 의한 가림 있음)의 특징를 동시에 훈련시켰다.
• 도메인 적응 전략은 두 도메인의 데이터를 함께 훈련시켜, 인간 상호작용과 다양한 조명 조건으로 인한 분포 이동에 대응할 수 있도록 공유 표현을 학습하도록 한다.
• 이 방법은 ImageNet 가중치로 네트워크를 초기화하고 자동차 전용 데이터로 미세조정함으로써 전이 학습을 적용하며, 공동 최적화를 통해 도메인 특화 데이터를 통합한다.
• 검출을 위해, 가림 및 시점 변화 상황에서도 정확도를 높이기 위해 특징 융합 메커니즘을 적용한 이단계 검출기(Faster R-CNN 등)를 사용하였다.
• 평가에는 표준 지표를 사용하였으며, 인식에는 F1 스코어, 검출에는 평균 평균 정확도(mAP)를 사용하였고, 공동 학습, 미세조정, 비지도 도메인 적응 간의 추론 분석을 위한 추론 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 원천 도메인과 대상 도메인 간의 공동 학습이 실제 환경에서 다양한 조건에서 자동차 부품 인식 및 검출의 일반화 능력을 향상시키는가?
• RQ2 기존의 미세조정 및 비지도 도메인 적응 대비 공동 도메인 적응이 새로운 자동차 데이터셋에서 mAP와 F1 스코어 측면에서 어떻게 성능을 높이는가?
• RQ3 다양한 자동차 모델과 구성에서 훈련된 일반 모델이 가림과 동적인 조명 조건이 있는 인간-차량 상호작용 시나리오에 얼마나 잘 일반화되는가?
• RQ4 특히 실제 영상 시퀀스에서 인간에 의한 가림 데이터를 훈련에 통합함으로써 어떤 성능 향상 효과를 얻을 수 있는가?

주요 결과

• 최적의 인식 모델은 분류 데이터셋의 테스트 세트에서 F1 스코어 93.67%를 달성하여 29종의 자동차 부품을 높은 정확도로 식별함을 입증하였다.
• 공동 학습을 사용한 검출 시스템은 Mix-CAR 데이터셋의 테스트 세트에서 mAP 63.01%를 기록하였으며, 표준 미세조정 및 비지도 도메인 적응보다 뚜렷이 뛰어난 성능을 보였다.
• 인간-차량 상호작용 데이터셋(MuSe-CAR-Part)에서 공동 학습은 mAP를 미세조정 기준선의 29.62%에서 41.07%로 끌어올려 10%p의 절대 향상 효과를 보였다.
• Mix-CAR 개발 및 테스트 세트 양쪽에서 공동 학습은 표준 전이 학습 및 비지도 도메인 적응 대비 mAP를 5%p 이상 절대적으로 향상시켰다.
• 실제 인간-자동차 상호작용 영상가운데 포함된 MuSe-CAR-Part 데이터셋은 모델의 훈련 및 평가에 성공적으로 사용되었으며, 가림 및 다양한 시점에 대한 강건성을 입증하였다.
• MuSe-CAR-Part 데이터셋, 훈련된 모델, 코드의 공개는 향후 지능형 차량 인식 및 인간-차량 상호작용 분야의 연구를 가속화하고 벤치마킹을 가능하게 하였다.