[논문 리뷰] Visualizing the Invisible: Occluded Vehicle Segmentation and Recovery

Xiaosheng Yan, Yuanlong Yu외 4명|arXiv (Cornell University)|2019. 07. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 56인용 수 6

한 줄 요약

이 논문은 3D 모델 풀을 활용한 현실적인 세그멘테이션 완성과 고해상도 외관 생성을 위한 공유된 이중 경로 네트워크를 갖춘 반복적 다중 작업 프레임워크를 제안한다. 이는 부분적으로 가림된 차량의 모달 세그멘테이션 및 외관 복구를 위해 제안된 것으로, 새로운 가림된 차량 데이터셋에서 최신 기술 수준의 성능을 달성하며 실시간 영상에서 가림된 차량 추적 성능을 크게 향상시킨다.

ABSTRACT

In this paper, we propose a novel iterative multi-task framework to complete the segmentation mask of an occluded vehicle and recover the appearance of its invisible parts. In particular, to improve the quality of the segmentation completion, we present two coupled discriminators and introduce an auxiliary 3D model pool for sampling authentic silhouettes as adversarial samples. In addition, we propose a two-path structure with a shared network to enhance the appearance recovery capability. By iteratively performing the segmentation completion and the appearance recovery, the results will be progressively refined. To evaluate our method, we present a dataset, the Occluded Vehicle dataset, containing synthetic and real-world occluded vehicle images. We conduct comparison experiments on this dataset and demonstrate that our model outperforms the state-of-the-art in tasks of recovering segmentation mask and appearance for occluded vehicles. Moreover, we also demonstrate that our appearance recovery approach can benefit the occluded vehicle tracking in real-world videos.

연구 동기 및 목표

• 실세계 이미지에서 부분적으로 가려진 차량의 정확한 세그멘테이션과 외관 복구에 도전하는 것.
• 딥 러닝 모델과 인간의 시각적 인식 간의 격차를 메우며, 보이지 않는 물체 부분에 대한 추론 능력을 향상시키는 것.
• 가림이 흔한 혼잡하거나 복잡한 환경에서 차량 추적 시스템의 강건성을 향상시키는 것.
• 더 나은 시각적 사실성 확보를 위해 세그멘테이션과 외관 복구를 반복적으로 개선하는 통합 프레임워크를 개발하는 것.
• 가림된 차량의 맥락에서 아모달 세그멘테이션 및 외관 복구 평가를 위한 새로운 벤치마크 데이터셋을 구축하는 것.

제안 방법

• 실제 인스턴스 마스크와 일치시키기 위한 인스턴스 디스criminator와 실제 차량 실루엣을 유사하게 만들기 위한 오브제クト 디스criminator를 갖춘 두 개의 결합된 디스criminator를 갖춘 세그멘테이션 완성 네트워크를 활용한다.
• 진정성 있는 실루엣을 갖춘 가짜 샘플을 생성하기 위해 보조적인 3D 차량 모델 풀을 도입하여 세그멘테이션 완성의 현실성과 품질을 향상시킨다.
• 공유된 가중치를 갖춘 이중 경로 외관 복구 네트워크를 설계: 한 경로는 보이지 않는 부분의 색상 복구를 담당하고, 다른 경로는 전체 전경 인painting을 통해 특징 학습을 강화한다.
• 복수의 반복을 통해 복구된 결과를 네트워크에 다시 피드백하여 반복적 개선을 수행함으로써 점진적으로 세그멘테이션 및 외관 품질을 향상시킨다.
• 정밀도와 현실성의 균형을 위해 adversarial loss, L1/L2 loss, perceptual similarity (SSIM)를 사용해 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 추론 시에는 첫 번째 경로만 배치하여 효율적인 외관 생성을 구현하며, 두 번째 경로는 지식 distillation을 통해 훈련을 향상시킨다.

실험 결과

연구 질문

• RQ1 현재 최신 기술 수준을 초월하는 다중 작업 및 반복적 프레임워크가 가림된 차량의 아모달 세그멘테이션 및 외관 복구를 동시에 향상시킬 수 있는가?
• RQ2 3D 모델 풀을 활용한 현실적인 adversarial 실루엣 생성이 세그멘테이션 완성 품질 향상에 얼마나 효과적인가?
• RQ3 공유된 가중치를 갖춘 이중 경로 아키텍처가 단일 경로 생성 방식보다 외관 복구 품질을 향상시키는가?
• RQ4 외관 복구가 실세계 영상 시퀀스에서 가림된 차량 추적 성능에 얼마나 기여하는가?
• RQ5 사용자 인식과 시각적 타당성 측면에서 기존 접근법에 비해 제안된 방법은 얼마나 우수한가?

주요 결과

• 사람에 의한 연구에서 제안된 방법이 Deepfill, pix2pix, SeGAN 및 자체 모델 중에서 84.8%의 참가자가 최고로 선정한 결과를 기록하여 가장 높은 사용자 선호도를 확보했다.
• 합성 데이터에서 두 번의 반복 후 L1 손실은 0.0158, SSIM는 0.9447을 기록하여 pix2pix(비교: L1: 0.0174, SSIM: 0.9410)와 SeGAN(비교: L1: 0.0181, SSIM: 0.9371)을 모두 능가했다.
• 실세계 이미지에서 Vid-1에서는 평균 픽셀 오차(APE)를 34.60에서 8.32로 감소시키고, Vid-3에서는 87.71에서 21.51로 감소시켰으며, 평균 오버랩(AO)은 각각 0.6489에서 0.8072, 0.3584에서 0.6755로 향상되었다.
• 외관 복구 모듈은 추적 성능을 향상시키며, KCF 추적기의 경우 네 개의 실세계 영상 시퀀스에서 평균적으로 APE가 75% 감소했다.
• 공유된 가중치를 갖춘 이중 경로 네트워크가 단일 경로 기반 베이스라인 대비 더 높은 SSIM 및 더 낮은 L1/L2 손실을 기록함으로써 외관 복구 품질 향상이 뚜렷하게 입증되었다.
• 3D 모델 기반 adversarial 샘플 사용은 특히 복잡한 가림 상황에서 더 현실적이고 구조적으로 정확한 세그멘테이션 마스크를 생성하는 데 기여했다.