[논문 리뷰] PMC-GANs: Generating Multi-Scale High-Quality Pedestrian with Multimodal Cascaded GANs

Jie Wu, Peng Ying외 3명|arXiv (Cornell University)|2019. 12. 30.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 5

한 줄 요약

이 논문은 다중 모odal 연쇄 GAN 프레임워크인 PMC-GANs를 제안하며, 다중 해상도 및 주의 잔차 블록을 갖춘 잔차 U-Net 생성기로 고품질, 다양한, 다중 해상도의 보행자 이미지를 생성한다. 인스턴스 수준의 마스크와 군집형 구조를 활용함으로써, 현실성과 해상도가 크게 향상되어 최신 기준 FID 점수를 달성하고, 데이터 증강에 사용될 경우 보행자 검출 성능을 향상시킨다.

ABSTRACT

Recently, generative adversarial networks (GANs) have shown great advantages in synthesizing images, leading to a boost of explorations of using faked images to augment data. This paper proposes a multimodal cascaded generative adversarial networks (PMC-GANs) to generate realistic and diversified pedestrian images and augment pedestrian detection data. The generator of our model applies a residual U-net structure, with multi-scale residual blocks to encode features, and attention residual blocks to help decode and rebuild pedestrian images. The model constructs in a coarse-to-fine fashion and adopts cascade structure, which is beneficial to produce high-resolution pedestrians. PMC-GANs outperforms baselines, and when used for data augmentation, it improves pedestrian detection results.

연구 동기 및 목표

• 보행자 검출에서 데이터 증강을 위한 현실적이고 다양한 고해상도 보행자 이미지의 부족을 해결하기 위해.
• 직사각형 마스크와 일대일 매핑으로 인한 인위적인 융합 경계와 낮은 세부 사양 품질 등의 기존 GAN 기반 방법의 한계를 극복하기 위해.
• 64×64, 128×128, 256×256 해상도의 다중 해상도 보행자 이미지를 군집형 방식으로 생성하여 현실성과 해상도를 향상시키기 위해.
• 마스크된 잠재 코드를 통합하고 경계 상자 마스크 대신 인스턴스 수준의 마스크를 사용하여 다양성과 현실성을 향상시키기 위해.
• 데이터 증강을 통해 생성된 이미지의 효과성을 검증하여 보행자 검출 성능 향상 여부를 입증하기 위해.

제안 방법

• 생성기는 인코더에서 다중 해상도 잔차 블록을 사용해 다중 해상도 특징을 캡처하고, 디코더에서 주의 잔차 블록을 사용해 복원 과정에서 중요한 특징을 강조하는 잔차 U-Net 아키텍처를 사용한다.
• 인스턴스 수준의 보행자 마스크가 조건 입력으로 사용되어 직사각형 마스크를 대체함으로써 현실성 향상과 더 나은 융합 및 가림 처리가 가능해진다.
• 모든 중간 블록에 마스크된 잠재 코드가 삽입되어 생성된 보행자 간의 다양성을 유도한다.
• 모델은 세 단계의 연쇄 아키텍처를 채택하여 각 단계에서 점차 해상도가 높아지는 이미지를 생성한다(64×64, 128×128, 256×256), 고해상도 단계는 저해상도 단계의 출력을 입력으로 사용한다.
• 판별기는 생성기와의 최소 최대 게임을 통해 진짜 이미지와 가짜 이미지를 구분하도록 훈련되어 생성기가 진짜 데이터 분포를 학습하도록 유도한다.
• 데이터 증강을 위해 합성된 보행자들은 정합성 레이블을 기반으로 보행자 보도와 도로에 배치되도록, 픽셀 단위의 교체 전략을 사용해 실제 배경 이미지에 융합된다.

실험 결과

연구 질문

• RQ1 다중 해상도 및 주의 메커니즘을 갖춘 연쇄 GAN 아키텍처가 기존 방법보다 더 현실적이고 다양한 보행자 이미지를 생성할 수 있는가?
• RQ2 직사각형 마스크 대신 인스턴스 수준의 마스크를 사용할 경우 생성된 보행자의 현실성과 융합 품질이 향상되는가?
• RQ3 마스크된 잠재 코드의 삽입이 생성된 보행자 샘플의 다양성에 어느 정도 기여하는가?
• RQ4 PMC-GANs는 세부 사양과 일관된 조명을 갖춘 고해상도 보행자 이미지(최대 256×256)를 효과적으로 생성할 수 있는가?
• RQ5 PMC-GANs로 생성된 이미지를 사용한 데이터 증강이 실제 월드 벤치마크에서 보행자 검출 모델의 성능을 향상시키는가?

주요 결과

• PMC-GANs는 64×64에서 10.08, 128×128에서 16.71, 256×256에서 22.48의 최신 기준 FID 점수를 기록하여 PS-GAN 및 Pix2Pix와 같은 베이스라인을 크게 능가한다.
• CityPersons 데이터셋에서 보행자 검출의 평균 오류율(MR)은 ×1에서 12.4, ×1.3에서 11.2, ×1.5에서 10.5로 감소하며, GAN 증강 데이터와 병합할 경우 각각 12.4, 11.2, 10.5로 추가로 향상된다.
• 인스턴스 수준의 마스크 사용으로 인해 인위적인 융합 경계가 감소하고, 특히 가림 조건에서 더 현실적인 생성이 가능해졌다.
• 연쇄 아키텍처는 점진적인 정밀화를 가능하게 하여, 256×256 단계에서 해당 해상도에서 비교된 모든 모델 중 최고의 FID 점수를 달성했다.
• 마스크된 잠재 코드의 삽입으로 다양한 자세와 외형을 갖춘 보행자가 생성되어 모드 붕괴를 방지했다.
• 다시 말해, 비록 향상되었지만 생성된 보행자와 배경 간의 조명 일관성이 아직 문제로 남아 있어, 향후 조명 일관성 향상에 대한 연구가 필요하다.