[논문 리뷰] Expecting the Unexpected: Training Detectors for Unusual Pedestrians with Adversarial Imposters

Shiyu Huang, Deva Ramanan|arXiv (Cornell University)|2017. 03. 18.

Human Pose and Action Recognition참고 문헌 2인용 수 4

한 줄 요약

이 논문은 게임 엔진을 활용해 실제적이며 희귀한 보행자 시나리오(예: 어린이가 놀거나 스케이트보드를 타는 사람 등)를 시뮬레이션하는 '적대적 가짜'를 생성하는 GAN 유사 프레임워크를 제안한다. 이는 실제 데이터와 합성 데이터를 구분하는 판별기 모델을 훈련시켜, 희귀하고 위험한 상황에서 보행자 검출 성능을 햖थ기 위해 실질적인 데이터와 고품질의 합성 가짜 데이터를 조합해 검출기의 미세조정을 수행함으로써 실현된다. 이는 새로운 Precarious Pedestrian 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As autonomous vehicles become an every-day reality, high-accuracy pedestrian detection is of paramount practical importance. Pedestrian detection is a highly researched topic with mature methods, but most datasets focus on common scenes of people engaged in typical walking poses on sidewalks. But performance is most crucial for dangerous scenarios, such as children playing in the street or people using bicycles/skateboards in unexpected ways. Such "in-the-tail" data is notoriously hard to observe, making both training and testing difficult. To analyze this problem, we have collected a novel annotated dataset of dangerous scenarios called the Precarious Pedestrian dataset. Even given a dedicated collection effort, it is relatively small by contemporary standards (around 1000 images). To allow for large-scale data-driven learning, we explore the use of synthetic data generated by a game engine. A significant challenge is selected the right "priors" or parameters for synthesis: we would like realistic data with poses and object configurations that mimic true Precarious Pedestrians. Inspired by Generative Adversarial Networks (GANs), we generate a massive amount of synthetic data and train a discriminative classifier to select a realistic subset, which we deem the Adversarial Imposters. We demonstrate that this simple pipeline allows one to synthesize realistic training data by making use of rendering/animation engines within a GAN framework. Interestingly, we also demonstrate that such data can be used to rank algorithms, suggesting that Adversarial Imposters can also be used for "in-the-tail" validation at test-time, a notoriously difficult challenge for real-world deployment.

연구 동기 및 목표

• 기존 데이터셋에 실제적이며 희귀한 보행자 시나리오가 부족하여 자율주행차의 강건한 보행자 검출기 훈련 및 평가가 어려운 문제를 해결하기 위해.
• 희귀하고 위험한 보행자 행동의 통계적 및 시각적 특성을 잘 반영한 고해상도 합성 데이터를 스케일링 가능한 방식으로 생성하는 방법을 개발하기 위해.
• 합성 데이터에서 실질적인 성능을 향상시키기 위해, 실질적인 데이터와의 도메인 갭을 줄이기 위해 '적대적 가짜'라 불리는 가장 현실적인 합성 샘플들만 선택해 훈련에 활용하는 판별 분류기를 사용한 효과적인 전이 학습을 가능하게 하기 위해.
• 합성 적대적 가짜가 훈련 데이터를 넘어서도 희귀하고 관측하기 어려운 상황에서의 검출기 성능 평가를 위한 신뢰할 수 있는 시험세트로 활용될 수 있는지 검증하기 위해.

제안 방법

• 장면 파라미터(예: 신체 자세, 물체 구성 등)를 기반으로 게임 엔진의 물리 및 조명 정밀도를 활용해 합성 이미지를 생성하는 렌더링 파이프라인을 사용한다.
• 생성자(generator)는 렌더링 엔진로 고정된 GAN 유사 프레임워크를 적용하며, 실제 Precarious Pedestrian 이미지에 대해 훈련된 판별기(discriminator)를 속이기 위해 잠재 공간(latent space)을 최적화한다.
• 판별기는 Precarious Pedestrian 데이터셋의 실제 이미지와 합성 이미지를 분류하도록 훈련되며, 판별기를 가장 혼동시키는 합성 이미지들—즉, 가장 현실적인 이미지들—이 '적대적 가짜'로 선별된다.
• 각 픽셀에서 보행자 검출 히트맵과 함께 회귀된 바운딩 박스를 출력하는 새로운 검출기 RPN+를 제안하며, 이는 희귀하고 비표준적인 보행자 자세에서도 검출 성능을 향상시킨다.
• 최종 검출기는 실질적인 데이터와 적대적 가짜 데이터의 조합을 사용해 미세조정되며, 추론 실험 결과에서 실질적 훈련 세트 크기와 동일한 크기의 가짜 데이터 세트가 성능을 최적화함을 보여준다.
• 판별기의 훈련 진행 상황을 모니터링하며, 다양한 훈련 단계에서 여러 판별기 버전을 활용해 시간이 지남에 따라 향상된 품질의 합성 데이터를 확보한다.

실험 결과

연구 질문

• RQ1 게임 엔진을 통해 생성된 합성 데이터가 적대적 훈련을 통해 어린이가 놀거나 스케이트보드를 타는 등의 희귀한 보행자 행동의 실제적이며 다양한 예시를 생성할 수 있는가?
• RQ2 실제 데이터와 적대적 가짜 데이터의 균형 잡힌 조합으로 검출기를 미세조정하면, 실질적인 데이터로만 훈련하는 것에 비해 희귀하고 위험한 보행자 시나리오에서 성능이 향상되는가?
• RQ3 적대적 가짜가 실질적인 희귀 시나리오 테스트 데이터가 부족한 '꼬리 부분' 시나리오에서 검출기의 강건성을 평가하기 위한 신뢰할 수 있는 합성 테스트 세트로 활용될 수 있는가?
• RQ4 적대적 가짜 데이터 세트의 크기와 판별기의 훈련 단계는 최종 검출기 성능에 어떤 영향을 미치는가?

주요 결과

• 실제 데이터와 적대적 가짜 데이터로 미세조정된 RPN+ 검출기는 10⁻¹의 거짓 경고율에서 42.47%의 미스율을 기록하며, 표준적인 미세조정 방식(6% 향상)과 실질적 데이터로만 훈련한 경우(24% 향상)보다 뛰어난 성능을 보였다.
• 적대적 가짜 데이터의 수가 실질적 훈련 세트 크기와 약간 유사할 때(500장) 최적의 성능이 달성되었으며, 이는 균형 잡힌 데이터 분포의 중요성을 시사한다.
• 판별기가 훈련이 진행됨에 따라 점점 더 정확해짐에 따라 최종 검출기의 성능이 향상되었으며, 이는 더 높은 품질의 합성 데이터가 더 나은 일반화 성능을 이끌어낸다는 것을 보여준다.
• 실제 테스트 데이터와 합성 적대적 가짜 테스트 데이터에서의 검출기 순위가 완전히 일치했으며, 이는 합성 데이터가 희귀한 시나리오 테스트 데이터를 효과적으로 대체할 수 있음을 시사한다.
• 이 방법은 적대적 정련을 통해 생성된 합성 데이터가 합성 데이터와 실제 세계의 보행자 검출 시나리오 사이의 도메인 갭을 효과적으로 줄일 수 있음을 입증했다.
• 적대적 가짜 데이터로 훈련된 RPN+ 모델은 Caltech 데이터셋에서 성능이 열악하게 나타났으며, 이는 스케일, 종횡비, 장면 분포의 차이로 인한 도메인 이동(domain shift)을 보여주며, 도메인 특화된 데이터의 중요성을 강조한다.