[논문 리뷰] PSP-HDRI$+$: A Synthetic Dataset Generator for Pre-Training of Human-Centric Computer Vision Models

Salehe Erfanian Ebadi, Saurav Dhakad외 7명|arXiv (Cornell University)|2022. 07. 11.

Video Surveillance and Tracking Methods인용 수 12

한 줄 요약

PSP-HDRI$^+$는 인간 중심 컴퓨터 비전을 위한 완전히 조작 가능한, 프라이버시를 보호하는 합성 데이터 생성기로, 사전 훈련에서 ImageNet 및 기타 대규모 합성 데이터셋을 능가한다. SMAA, Poly Haven 가림막, 적응형 레이블링과 같은 기법을 통해 시각적 해상도, 레이블 일치도, 도메인 랜덤라이제이션을 향상시켜, 특히 소수의 샘플과 소규모 데이터 환경에서의 일반화 성능을 향상시킨다.

ABSTRACT

We introduce a new synthetic data generator PSP-HDRI$+$ that proves to be a superior pre-training alternative to ImageNet and other large-scale synthetic data counterparts. We demonstrate that pre-training with our synthetic data will yield a more general model that performs better than alternatives even when tested on out-of-distribution (OOD) sets. Furthermore, using ablation studies guided by person keypoint estimation metrics with an off-the-shelf model architecture, we show how to manipulate our synthetic data generator to further improve model performance.

연구 동기 및 목표

• 실제 데이터셋의 한계, 즉 윤리적 우려, 레이블 편향, 높은 제작 비용을 해결하기 위해 인간 중심 컴퓨터 비전에서의 응용을 위해.
• 합성 데이터와 실제 데이터 간의 도메인 갭을 줄이기 위해 완전히 조작 가능하고 프라이버시를 보호하며 윤리적으로 확보된 합성 데이터 생성기를 개발하기 위해.
• 일반화 전용 사전 훈련 데이터셋인 ImageNet과 같은 유니버설리스트 사전 훈련 데이터셋을 뛰어넘는 합성 데이터의 성능을 입증하고, 특히 소수 샘플 및 도메인 외 일반화 설정에서 성능 향상을 보여주기 위해.
• 과도한 초모수 조정 없이도 최적의 전이 학습 성능을 달성할 수 있도록 강력한 사전 훈련 및 미세조정 전략을 규명하고 검증하기 위해.

제안 방법

• 이 방법은 PeopleSansPeople (PSP) 기반의 Unity 시뮬레이션 환경을 바탕으로 하며, 향상된 시각적 해상도와 레이블 일치도를 추가로 구현한다.
• 조명, 카메라, 자세, 의복, 가림막 배치 등 다양한 도메인 랜덤라이제이션을 적용하여 데이터 다양성과 모델 일반화 능력을 향상시킨다.
• 핵심 개선 사항으로는 Poly Haven에서 제공하는 고품질 3D 모델 사용, 부드러운 그래픽을 위한 하위픽셀 형태의 안티앨리어싱(SMAA) 적용, 실재감 향상을 위해 셰이더 그래프 랜덤라이제이션 비활성화를 포함한다.
• 대상 데이터셋 분포(예: COCO, MPII)에 맞추어 레이블 적응을 구현하고, 복잡성을 줄이기 위해 걷기, 달리기, 정지 상태 등의 단순 애니메이션만 사용한다.
• 제거 분석을 통해 최적의 구성 요소를 선별하고, 모든 긍정적 개선 사항을 통합한 PSP-HDRI$^+$ 구성으로 이어진다.
• 학습 전략은 검증 성능 기반 자동 학습률 감소를 적용하여 수동 초모수 조정이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성기가 인간 중심 컴퓨터 비전의 사전 훈련에서 ImageNet 및 기타 대규모 합성 데이터셋을 능가할 수 있는가?
• RQ2 합성 데이터로 사전 훈련하면 도메인 외(OOD) 벤치마크, 특히 저자원 환경에서의 일반화 성능이 향상되는가?
• RQ3 가림막 품질, 조명 랜덤라이제이션, 레이블 적응과 같은 특정 설계 선택 사항이 모델 성능과 도메인 갭 감소에 어떤 영향을 미치는가?
• RQ4 완전히 조작 가능한 합성 데이터 생성기가 과도한 초모수 조정 없이도 더 나은 전이 학습 성능을 가능하게 하는가?

주요 결과

• COCO test-dev2017 및 MPII val과 같은 모든 인-도메인 벤치마크에서 PSP-HDRI$^+$로 사전 훈련한 모델은 MOTSynth 및 ImageNet으로 사전 훈련한 모델보다 높은 바운딩 박스 AP 점수를 기록하여 성능이 뛰어나다.
• OOD MOT17 벤치마크에서 PSP-HDRI$^+$로 사전 훈련한 모델은 바운딩 박스 AP 32.01을 기록하여 MOTSynth로 사전 훈련한 모델(13.97)을 크게 능가하여 도메인 일반화 능력이 뛰어나다는 것을 보여준다.
• COCO에서 미세조정한 PSP-HDRI$^+$로 사전 훈련한 모델은 MOTSynth에서 32.46 AP를 기록하여 MOTSynth 전용으로 미세조정한 모델(32.75)을 능가하며, 이는 PSP-HDRI$^+$가 더 강력한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 제거 분석 결과, 가림막/방해 물체 제거 시 성능 저하가 발생했고, 그 외 모든 개선 사항(예: Poly Haven 가림막, SMAA, 레이블 적응)은 제로샷 성능 향상에 기여하였다.
• 최종 PSP-HDRI$^+$ 구성은 레이블 적응, 고품질 가림막, SMAA, 단순 애니메이션을 모두 통합하여 다양한 벤치마크에서 최고의 제로샷 성능을 달성하였다.
• 훈련 중 랜덤 크롭 증강이 MOTSynth 및 MOT17에서 제로샷 성능을 추가로 향상시켜, 합성 사전 훈련에서 데이터 증강의 유용성을 입증하였다.