[논문 리뷰] TICaM: A Time-of-flight In-car Cabin Monitoring Dataset

Jigyasa Katrolia, Bruno Mirbach외 4명|arXiv (Cornell University)|2021. 03. 22.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 16

한 줄 요약

TICaM은 실시간 및 합성된 시간간섭형 깊이, RGB, 적외선 이미지 총 6.7K개의 실물 및 3.3K개의 합성 이미지를 포함한 대규모 다중 모odal 차량 내 캠 환경 모니터링 데이터셋으로, 2D/3D 검출, 인스턴스 및 의미 분할, 활동 인식에 대한 종합적인 애너테이션을 제공한다. 실물 및 합성 데이터를 유일하게 융합하여 자율주행 차량의 안전성 및 인간-차량 상호작용 시스템의 강건한 훈련 및 도메인 적응 평가를 가능하게 한다.

ABSTRACT

We present TICaM, a Time-of-flight In-car Cabin Monitoring dataset for vehicle interior monitoring using a single wide-angle depth camera. Our dataset addresses the deficiencies of currently available in-car cabin datasets in terms of the ambit of labeled classes, recorded scenarios and provided annotations; all at the same time. We record an exhaustive list of actions performed while driving and provide for them multi-modal labeled images (depth, RGB and IR), with complete annotations for 2D and 3D object detection, instance and semantic segmentation as well as activity annotations for RGB frames. Additional to real recordings, we provide a synthetic dataset of in-car cabin images with same multi-modality of images and annotations, providing a unique and extremely beneficial combination of synthetic and real data for effectively training cabin monitoring systems and evaluating domain adaptation approaches. The dataset is available at https://vizta-tof.kl.dfki.de/.

연구 동기 및 목표

• 다양한 승객 유형, 실제 도메인 시나리오, 다중 모달 애너테이션을 모두 포함하는 종합적인 차량 내 캠 데이터셋의 부족을 보완한다.
• 기존 데이터셋의 한계를 극복하기 위해 승객, 앞면/뒷면 방향 어린이 시트, 일상적인 물체 등 대표성이 떨어지는 시나리오를 포함한다.
• 다중 모달 컴퓨터 비전 작업을 위한 동기화된 깊이, RGB, 적외선 데이터를 통합한 단일 데이터셋을 제공한다.
• Blender를 사용해 생성한 현실적인 합성 데이터와 고품질 실물 데이터를 융합하여 도메인 적응 연구를 가능하게 한다.
• 세부적인 다중 작업 애너테이션을 통해 안전 중심의 시스템, 예를 들어 적응형 에어백 배치 및 운전사 주의산산산산 모니터링 개발을 지원한다.

제안 방법

• 후视 거울 근처에 설치된 Kinect Azure를 사용해 실물 차량 내 캠 환경를 촬영하여 시간간섭형 깊이, RGB, 적외선 이미지를 확보한다.
• 운전사 및 승객 행동에 대한 동기화된 활동 애너테이션을 포함한 총 123K개의 RGB 프레임을 촬영하며, 20개의 서로 다른 활동 클래스를 포함한다.
• SALT 3D 애너테이션 툴을 수동으로 사용해 실물 데이터에 대해 2D/3D 경계상자, 인스턴스 및 클래스 분할 마스크, 활동 레이블을 애너테이션한다.
• Blender를 사용해 3.3K개의 합성 이미지를 생성하며, 2D/3D 검출, 분할, 활동 레이블에 대해 자동으로 생성된 진짜 레이블을 포함한다.
• 교차 모달 훈련을 위해 깊이 카메라와 RGB 카메라 간의 정렬을 확보하기 위해 교정 및 알려진 외부 파rameters를 제공한다.
• 실물 데이터를 훈련용(86K RGB 프레임)과 테스트용(37K RGB 프레임)으로 분할하며, 도메인 적응 평가를 위해 합성 데이터는 오직 훈련에만 사용한다.

실험 결과

연구 질문

• RQ1 실물 및 합성 시간간섭형 차량 내 캠 데이터셋을 통합함으로써 캠 모니터링 시스템의 강건성과 일반화 능력이 향상되는가?
• RQ2 승객, 뒷면 방향 어린이 시트, 일반 물체 등 다양한 시나리오의 포함이 실생활 적용에서의 차량 내 모니터링 데이터셋의 실용성을 얼마나 향상시키는가?
• RQ3 합성 데이터는 실생활 차량 내 깊이 기반 인식 작업에 대한 도메인 적응을 얼마나 효과적으로 가능하게 하는가?
• RQ4 다중 모달 애너테이션(깊이, RGB, IR, 2D/3D 검출, 분할, 활동)이 운전사 상태 추정 및 안전 응용 분야에서 성능 향상에 기여하는가?
• RQ5 깊이, RGB, 적외선 모달 간에 동기화된 다중 해상도 애너테이션이 애너테이션 비용을 줄이고 모델 훈련 효율을 향상시키는가?

주요 결과

• TICaM은 6.7K개의 실시간 시간간섭형 깊이 이미지와 123K개의 RGB 프레임을 포함하며, 복잡한 행동(예: 왼쪽 또는 오른쪽을 보며 회전하는 것)을 포함한 총 20개의 서로 다른 활동 클래스를 커버한다.
• 실물 데이터와 동일한 애너테이션 포맷을 갖춘 3.3K개의 합성 이미지를 포함하여 도메인 적응 기법의 직접 평가가 가능하다.
• 실물 데이터는 2D/3D 검출 훈련용 4.7K개의 이미지와 테스트용 2.0K개의 이미지를 포함하며, 완전한 3D 경계상자, 분할 마스크, 활동 레이블이 포함되어 있다.
• 정확한 카메라 모델과 물체 배치를 사용해 Blender로 생성된 합성 데이터는 실물 데이터에 비해 높은 시각적 및 기하학적 정확도를 확보한다.
• 깊이, RGB, 적외선 모달 간에 동기화된 애너테이션을 지원하여 다중 작업 학습 및 교차 모달 모델 훈련을 가능하게 한다.
• 반사성 또는 어두운 물체에 대해 낮은 반사율 플래그를 포함시켜 어려운 조명 및 재질 조건에서의 탐지 강건성을 향상시킨다.