[논문 리뷰] Simulating Content Consistent Vehicle Datasets with Attribute Descent

Yue Yao, Liang Zheng외 3명|arXiv (Cornell University)|2019. 12. 18.

Advanced Neural Network Applications참고 문헌 43인용 수 32

한 줄 요약

이 논문은 Unity에서 생성된 대규모 합성 차량 데이터 세트 VehicleX와 합성 데이터가 실제 데이터와 더 잘 맞도록 제어 가능한 콘텐츠 속성을 최적화하는 속성 디센트 방법을 소개합니다. 이 방법은 학습된 합성 데이터를 단독으로 사용하거나 실제 데이터와 결합할 때 재식별(re-id) 성능을 향상시킵니다.

ABSTRACT

This paper uses a graphic engine to simulate a large amount of training data with free annotations. Between synthetic and real data, there is a two-level domain gap, i.e., content level and appearance level. While the latter has been widely studied, we focus on reducing the content gap in attributes like illumination and viewpoint. To reduce the problem complexity, we choose a smaller and more controllable application, vehicle re-identification (re-ID). We introduce a large-scale synthetic dataset VehicleX. Created in Unity, it contains 1,362 vehicles of various 3D models with fully editable attributes. We propose an attribute descent approach to let VehicleX approximate the attributes in real-world datasets. Specifically, we manipulate each attribute in VehicleX, aiming to minimize the discrepancy between VehicleX and real data in terms of the Fréchet Inception Distance (FID). This attribute descent algorithm allows content domain adaptation (DA) orthogonal to existing appearance DA methods. We mix the optimized VehicleX data with real-world vehicle re-ID datasets, and observe consistent improvement. With the augmented datasets, we report competitive accuracy. We make the dataset, engine and our codes available at https://github.com/yorkeyao/VehicleX.

연구 동기 및 목표

• 합성 차량 이미지와 재식별 작업에서 콘텐츠 수준의 도메인 차이를 줄이는 것을 목표로 한다.
• 제어 가능한 속성을 가진 크고 편집 가능한 합성 차량 데이터세트(VehicleX)를 만든다.
• 합성 데이터와 실제 데이터 간 분포 거리(FID)를 최소화하기 위한 속성 디센트 알고리즘을 개발한다.
• 콘텐츠에 적합한 합성 데이터가 재식별 정확도를 개선함을 입증한다, 단독으로 또는 실제 데이터와 함께.
• 재현과 확장을 위한 공개 소스 도구(데이터셋, 엔진, 코드)를 제공한다.

제안 방법

• 콘텐츠 분포를 나타내기 위해 방향(orientation), 조명 방향, 조도, 카메라 높이, 카메라 거리 등의 차량 속성을 가우시안 분포나 가우시안 혼합 모델로 모델링한다.
• Python 제어가 가능한 Unity 기반 엔진을 통해 합성 이미지를 렌더링하고 재-ID에 라벨 데이터를 생성한다.
• Fréchet Inception Distance(FID)를 사용하여 합성 데이터와 실제 데이터 간의 분포 차이를 측정한다.
• 속성 평균을 속성 디센트(좌표-디센트 유사) 알고리즘으로 최적화하고, FID를 최소화하기 위해 속성들을 순회한다.
• 두 가지 훈련 체제를 수행한다: 합성 데이터만으로 훈련하고 실제 데이터와 함께 공동 훈련하는 것, 그리고 2단계 훈련 프로토콜을 포함한다.
• VehicleID, VeRi-776, CityFlow 데이터셋에서 표준 재식별 지표(mAP, Rank-1)로 평가한다.

실험 결과

연구 질문

• RQ1 비 differentiable 렌더러를 통한 콘텐츠 수준 속성 최적화가 합성 데이터와 실제 차량 이미징 간의 콘텐츠 격차를 줄일 수 있는가?
• RQ2 속성 디센트를 통해 학습된 합성 데이터가 단독 또는 실제 데이터와 함께 사용할 때 차량 재식별 성능을 향상시키는가?
• RQ3 개별 콘텐츠 속성이 다양한 데이터셋에서 분포 정합성과 재식별 정확도에 어떻게 기여하는가?
• RQ4 두 단계 학습 프로토콜(합성+실제 사전 학습, 그런 다음 실제 데이터 미세 조정)이 공동 학습에 이로운가?
• RQ5 FID 및 재식별 성능에 대한 영향 측면에서 콘텐츠 속성 간의 의존 구조는 무엇인가?

주요 결과

• 속성 디센트가 합성 VehicleX 데이터와 실제 데이터 간의 FID를 줄이고 재식별 mAP 및 Rank-1 정확도를 높인다.
• 방향(orientation)이 분포 정합성과 성능에 가장 큰 영향을 미치고, 이어 조명과 카메라 속성이 뒤를 따른다.
• 학습된 합성 데이터만으로도 여러 데이터셋에서 재식별 정확도에서 무작위 속성보다 우수하다.
• 합성 사전 학습 후 실제 데이터로 파인튜닝하는 2단계 학습은 VehicleID, VeRi-776, CityFlow 전반에서 상당한 성능 향상을 가져온다.
• 스타일-도메인 적응(SPGAN)은 합성 데이터를 이용한 교차 도메인 재식별에서 성능을 크게 향상시킨다.