[논문 리뷰] Generative Adversarial Frontal View to Bird View Synthesis

Xinge Zhu, Zhichao Yin외 3명|arXiv (Cornell University)|2018. 08. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 6

한 줄 요약

이 논문은 큰 시점 갭을 줄이기 위해 중간 다각도 시점으로서 호모그래피 시점을 도입함으로써 단일 정면 시각 입력에서 종량 시각 이미지를 합성하는 새로운 생성 적대적 모델인 BridgeGAN을 제안한다. 이 방법은 이중 사이클 일致성과 교차 시점 특징 일치 손실을 갖춘 다중 GAN 아키텍처를 사용하여 전역적 구조 유지 및 세부 사항 선명도에서 최신 기술 수준의 성능을 달성하였으며, 사용자 연구를 통해 기준 모델 대비 각각 16%와 7% 높은 인간 선호도 점수를 확보하였다.

ABSTRACT

Environment perception is an important task with great practical value and bird view is an essential part for creating panoramas of surrounding environment. Due to the large gap and severe deformation between the frontal view and bird view, generating a bird view image from a single frontal view is challenging. To tackle this problem, we propose the BridgeGAN, i.e., a novel generative model for bird view synthesis. First, an intermediate view, i.e., homography view, is introduced to bridge the large gap. Next, conditioned on the three views (frontal view, homography view and bird view) in our task, a multi-GAN based model is proposed to learn the challenging cross-view translation. Extensive experiments conducted on a synthetic dataset have demonstrated that the images generated by our model are much better than those generated by existing methods, with more consistent global appearance and sharper details. Ablation studies and discussions show its reliability and robustness in some challenging cases.

연구 동기 및 목표

• 큰 뷰포인트 갭과 심각한 기하학적 왜곡으로 인해 어려운 단일 정면 시각 입력에서 고품질 종량 시각 이미지를 생성하는 문제를 해결하기 위해.
• 제한된 카메라 입력으로부터 다중 시점 환경 인식을 가능하게 하여 자율 주행 및 로봇 공학 분야의 지각 이해를 향상시키기 위해.
• 극적으로 다른 시점 간에도 전역적 구조와 객체 세부 사항을 유지하는 강력한 교차 시점 번역 프레임워크를 개발하기 위해.
• 예를 들어, 가림이나 굽은 도로로 인해 호모그래피 추정에 실패하는 등의 어려운 상황에서도 모델의 신뢰성을 검증하기 위해.

제안 방법

• 정면 시각과 종량 시각 사이의 큰 시점 갭을 줄이기 위해 중간 표현으로서 호모그래피 시점을 도입하여 직접 번역의 복잡성을 감소시키기 위해.
• 세 시점—정면, 호모그래피, 종량 시각—에 조건이 붙은 다중 GAN 아키텍처를 설계하여 개선된 일致성으로 교차 시점 번역을 수행하기 위해.
• 세 시점 간 일대일 대응을 강제하기 위해 이중 사이클 일치 손실을 구현하여 변환 과정에서의 구조적 충실도를 확보하기 위해.
• 모든 세 시점 간 저수준(색상) 및 고수준(콘텐츠) 특징을 일치시키기 위해 교차 시점 특징 일치 손실을 도입하여 의미적 일관성을 향상시키기 위해.
• 생성 적대적 손실, 사이클 일치 손실, 특징 일치 손실을 동시에 최적화하여 현실적이고 구조적으로 정확한 종량 시각 이미지를 생성하기 위해.
• 호모그래피 시점을 사전 지식으로 활용하여, 호모그래피 추정이 왜곡되어도 존재하지 않는 객체를 유추하지 않도록 방지하기 위해.

실험 결과

연구 질문

• RQ1 큰 뷰포인트 갭과 심각한 변형에도 불구하고 생성 모델이 단일 정면 시각 입력에서 현실적인 종량 시각 이미지를 생성할 수 있는가?
• RQ2 중간 호모그래피 시점이 정면 시각과 종량 시각 간 교차 시점 번역의 복잡성을 줄이는 데 얼마나 효과적인가?
• RQ3 이중 사이클 일치 손실과 특징 일치 손실을 갖춘 제안된 다중 GAN 프레임워크가 생성된 종량 시각 이미지의 구조적 및 의미적 일관성을 향상시키는가?
• RQ4 장면의 복잡성 또는 카메라 정렬 문제로 인해 호모그래피 추정이 실패할 경우 모델이 신뢰성을 유지하고 존재하지 않는 차량을 유추하지 않는가?
• RQ5 기존의 GAN 기반 방법과 비교해 인간 평가에서 현실성과 지각 품질 측면에서 모델의 성능은 얼마나 우수한가?

주요 결과

• 제안된 BridgeGAN 모델은 사용자 연구에서 가장 높은 인간 선호도 점수를 기록하였으며, 첫 번째 실험에서 43.90%, 두 번째 실험에서 40.24%의 선택률을 기록하여 CycleGAN 및 Pix2Pix와 같은 기준 모델을 크게 앞섰다.
• 사용자 연구 결과, BridgeGAN는 두 가지 다른 평가 과업에서 각각 16%와 7% 높은 선택률을 기록하여 기존 기준 모델 대비 뛰어난 지각 품질을 입증하였다.
• 정성적 비교와 분석 실험을 통해 다른 방법들보다 전역적 시점 구조와 객체 세부 사항을 더 효과적으로 유지함을 확인하였다.
• 예를 들어 굽은 도로나 앞면을 향한 차량으로 인해 호모그래피 추정에 실패하더라도, 모델은 존재하지 않는 객체를 생성하지 않고 타당한 종량 시각 이미지를 생성한다.
• 분석 실험 결과, 이중 사이클 일치 손실과 교차 시점 특징 일치 손실이 모두 시점 간 구조적 및 의미적 일관성을 유지하는 데 필수적임을 입증하였다.
• 중간 호모그래피 시점은 모델의 안정성과 성능에 핵심적인 역할을 하며, 모드 붕괴나 부정확한 생성을 방지하는 신뢰할 수 있는 중간 표현을 제공한다.