[论文解读] Reconstructing the visual perception of honey bees in complex 3-D worlds

Johannes Polster, Julian Petrasch+2 more|arXiv (Cornell University)|Nov 19, 2018

Insect and Arachnid Ecology and Behavior参考文献 27被引用 5

一句话总结

本文提出了一种开源的、高保真的3D虚拟环境，通过摄影测量法重建的地形和生物上准确的复眼建模，重现了蜜蜂的视觉感知。通过模拟小眼的采样几何结构和从蜜蜂位置出发的光线投射，该系统能够实现飞行轨迹分析和神经-行为相关性研究中的真实视觉输入重建。

ABSTRACT

Over the last decades, honeybees have been a fascinating model to study insect navigation. While there is some controversy about the complexity of underlying neural correlates, the research of honeybee navigation makes progress through both the analysis of flight behavior and the synthesis of agent models. Since visual cues are believed to play a crucial role for the behavioral output of a navigating bee we have developed a realistic 3-dimensional virtual world, in which simulated agents can be tested, or in which the visual input of experimentally traced animals can be reconstructed. In this paper we present implementation details on how we reconstructed a large 3-dimensional world from aerial imagery of one of our field sites, how the distribution of ommatidia and their view geometry was modeled, and how the system samples from the scene to obtain realistic bee views. This system is made available as an open-source project to the community on \url{http://github.com/bioroboticslab/bee_view}.

研究动机与目标

• 从航空摄影测量数据重建一个逼真的3D虚拟世界，以模拟蜜蜂导航的视觉环境。
• 对蜜蜂复眼进行建模，准确反映小眼的分布、小眼间距角（Δφ）和接受角（Δρ）。
• 在3D场景中重建基于实验记录的蜜蜂飞行轨迹的视觉输入。
• 提供一个开源平台，用于测试导航假设，并将神经活动与视觉输入相关联。
• 通过支持复杂3D场景和开源代码与数据，克服先前模型的局限性。

提出的方法

• 使用四旋翼无人机获取的航空影像，通过摄影测量法3D重建了2.73 km²的田地区域。
• 基于实测的小眼间距角（Δφ）和接受角（Δρ），对蜜蜂复眼建模，包含5500个小眼。
• 实现光线投射技术，从每个小眼的视角方向采样3D场景，并使用高斯加权进行积分。
• 采用球面投影模型将3D视觉输入映射到复眼表面，保持角度与空间关系的准确性。
• 根据虚拟世界中蜜蜂的位置和朝向，实现动态视觉输入采样。
• 在GitHub上以开源软件形式发布系统（bee_view），支持3D场景加载、小眼几何结构和实时渲染。

实验结果

研究问题

• RQ1 如何从航空影像重建逼真的3D虚拟环境，以建模导航中蜜蜂的视觉世界？
• RQ2 在虚拟环境中，最准确的蜜蜂复眼小眼采样几何建模方法是什么？
• RQ3 在3D虚拟世界中，能够多大程度上重建实验记录的蜜蜂飞行轨迹的视觉输入？
• RQ4 将摄影测量3D场景与生物上准确的小眼采样相结合，如何提升蜜蜂视觉建模的保真度？
• RQ5 该系统是否能够通过将视觉输入与记录的神经活动关联，为蜜蜂导航的神经相关性提供新见解？

主要发现

• 该系统成功使用四旋翼无人机影像和摄影测量技术，重建了2.73 km²的田地区域的3D场景。
• 小眼模型准确反映了实测的小眼间距角（Δφ: 1.5–4.6°）和接受角（Δρ: 2.6–4.5°）。
• 采用高斯加权和每只小眼441个采样点的光线投射方法，生成了与生物学预期一致的高保真视觉投影。
• 系统能够实时从3D世界中任意位置和朝向重建蜜蜂的视觉输入，支持行为回放。
• 在GitHub上开源发布（bee_view），提供完整的代码、地图数据和小眼几何结构，供社区使用。
• 该模型支持高级应用，如将神经动作电位序列与视觉输入相关联，推动昆虫导航与视觉研究的新进展。