[论文解读] Generative Adversarial Frontal View to Bird View Synthesis

Xinge Zhu, Zhichao Yin+3 more|arXiv (Cornell University)|Aug 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 6

一句话总结

该论文提出BridgeGAN，一种新型生成对抗网络模型，通过引入单应性视图作为中间桥梁，减少前视图与鸟瞰图之间的巨大视角差异，从而从单张前视图输入合成鸟瞰图。该方法采用多生成对抗网络框架，结合双重循环一致性损失与跨视角特征一致性损失，在全局结构保持与细节清晰度方面达到最先进性能，用户研究显示其人类偏好得分较基线模型高出16%和7%。

ABSTRACT

Environment perception is an important task with great practical value and bird view is an essential part for creating panoramas of surrounding environment. Due to the large gap and severe deformation between the frontal view and bird view, generating a bird view image from a single frontal view is challenging. To tackle this problem, we propose the BridgeGAN, i.e., a novel generative model for bird view synthesis. First, an intermediate view, i.e., homography view, is introduced to bridge the large gap. Next, conditioned on the three views (frontal view, homography view and bird view) in our task, a multi-GAN based model is proposed to learn the challenging cross-view translation. Extensive experiments conducted on a synthetic dataset have demonstrated that the images generated by our model are much better than those generated by existing methods, with more consistent global appearance and sharper details. Ablation studies and discussions show its reliability and robustness in some challenging cases.

研究动机与目标

• 为解决从单张前视图输入生成高质量鸟瞰图的挑战性问题，该问题因视角差距巨大及严重几何畸变而难以处理。
• 通过实现从有限摄像头输入的多视角场景感知，提升自动驾驶与机器人领域的感知理解能力。
• 开发一种鲁棒的跨视角图像转换框架，确保在视角差异极大的情况下仍能保持全局结构与物体细节的一致性。
• 在遮挡或弯道等复杂场景下验证模型的可靠性，例如当单应性估计因遮挡或道路曲率而失败时。

提出的方法

• 引入单应性视图作为中间表征，以弥合前视图与鸟瞰图之间的巨大视角差距，降低直接转换的复杂度。
• 设计一种基于三视图（前视图、单应性视图、鸟瞰图）条件的多生成对抗网络架构，实现更一致的跨视角图像转换。
• 实施双重循环一致性损失，强制三者之间的一一对应关系，确保变换过程中的结构保真度。
• 引入跨视角特征一致性损失，对齐三者之间的低层（颜色）与高层（内容）特征，增强语义一致性。
• 联合使用对抗损失、循环一致性损失与特征一致性损失进行端到端训练，以生成逼真且结构准确的鸟瞰图。
• 利用单应性视图作为先验，即使在单应性估计出现畸变时，也能防止生成不存在的物体。

实验结果

研究问题

• RQ1 在存在巨大视角差距与严重形变的情况下，生成模型能否从单张前视图输入生成逼真的鸟瞰图？
• RQ2 作为中间视图的单应性视图在降低前视图与鸟瞰图之间跨视角转换复杂度方面有多有效？
• RQ3 所提出的结合双重循环一致性与特征一致性损失的多生成对抗网络框架，是否能提升生成鸟瞰图的结构与语义一致性？
• RQ4 当因场景复杂性或相机对齐问题导致单应性估计失败时，模型是否仍能保持可靠性并避免生成车辆等虚假物体？
• RQ5 在人类评估中，该模型相较于现有基于生成对抗网络的方法，在真实感与感知质量方面表现如何？

主要发现

• 所提出的BridgeGAN模型在用户研究中获得最高人类偏好得分，第一项实验中选择率达43.90%，第二项实验中达40.24%，显著优于CycleGAN与Pix2Pix等基线模型。
• 用户研究表明，BridgeGAN在两项独立评估任务中分别比次优基线模型高出16%与7%的选择率，表明其具有更优的感知质量。
• 定性对比与消融实验均证实，该模型在保持全局场景结构与物体细节方面优于现有方法。
• 即使在单应性估计失败的情况下（如在弯道或存在正前方车辆时），模型仍能生成合理的鸟瞰图，且未生成不存在的物体。
• 消融实验表明，双重循环一致性损失与跨视角特征一致性损失对维持视图间结构与语义一致性均至关重要。
• 中间单应性视图对模型稳定性和性能至关重要，其提供了可靠的中间表征，引导生成对抗网络避免模式崩溃与虚假生成。