[论文解读] A neural model of the locust visual system for detection of object approaches with real-world scenes

Matthias S. Keil, E. Roca+1 more|arXiv (Cornell University)|Jan 24, 2018

Neural dynamics and brain functionNeuroscience参考文献 15被引用 16

一句话总结

本文提出了一种受生物学启发的蝗虫LGMD神经元模型，用于在真实场景中实现鲁棒的碰撞检测。通过整合ON/OFF通路、反馈侧向抑制以及基于扩散的信号传播机制，该模型有效抑制了背景运动和低对比度物体引起的响应，即使在视觉条件不利的情况下也能可靠检测到接近的物体。

ABSTRACT

In the central nervous systems of animals like pigeons and locusts, neurons were identified which signal objects approaching the animal on a direct collision course. Unraveling the neural circuitry for collision avoidance, and identifying the underlying computational principles, is promising for building vision-based neuromorphic architectures, which in the near future could find applications in cars or planes. At the present there is no published model available for robust detection of approaching objects under real-world conditions. Here we present a computational architecture for signalling impending collisions, based on known anatomical data of the locust \emph{lobula giant movement detector} (LGMD) neuron. Our model shows robust performance even in adverse situations, such as with approaching low-contrast objects, or with highly textured and moving backgrounds. We furthermore discuss which components need to be added to our model to convert it into a full-fledged real-world-environment collision detector. KEYWORDS: Locust, LGMD, collision detection, lateral inhibition, diffusion, ON-OFF-pathways, neuronal dynamics, computer vision, image processing

研究动机与目标

• 开发一种符合生物学原理的蝗虫LGMD神经元模型，用于在真实世界的视觉环境中检测物体接近行为。
• 解决在低对比度物体和运动背景等不利条件下实现鲁棒碰撞检测的挑战。
• 通过引入反馈侧向抑制，改进先前模型，防止抑制通路发生饱和。
• 通过整合关键神经生理学原理，使模型适用于类脑视觉系统在自动驾驶车辆中的实际应用。

提出的方法

• 该模型采用两条并行通路——ON通路和OFF通路，分别对亮度增加和减少敏感，从视频序列中提取运动信号。
• 运动检测器（MDs）通过带有漏积分的微分方程建模，以捕捉随时间变化的局部亮度变化。
• 求和单元（SUs）整合MD的输出，并将其输入到一个模拟侧向抑制的反应-扩散过程的扩散层中。
• 反馈抑制通过将抑制与自身兴奋解耦实现，使其能够消散，避免持续饱和。
• LGMD神经元整合来自SUs的活动，其输出代表最终的碰撞信号。
• 该模型采用对数编码和非线性整合，以近似符合神经生理学数据的η-函数响应。

实验结果

研究问题

• RQ1 如何使蝗虫LGMD神经元的神经模型在具有复杂背景的真实场景中鲁棒地检测接近的物体？
• RQ2 反馈侧向抑制在抑制非碰撞运动（如背景运动）引起的响应中起到什么作用？
• RQ3 ON和OFF通路相较于单通路模型，在提升接近物体检测性能方面发挥何种作用？
• RQ4 在低对比度或高纹理条件下，该模型能否保持对接近物体的敏感性？
• RQ5 还需引入哪些额外机制，才能使该模型适用于自动驾驶等真实应用场景？

主要发现

• 该模型成功检测了真实视频中的接近物体，包括行人横穿路口和高速公路交通等复杂场景。
• 反馈侧向抑制防止了抑制层的饱和，使模型在强背景运动条件下仍能保持响应能力。
• ON和OFF通路降低了扩散层的整体活动，减少了虚假抑制，提升了信噪比。
• 由于物体进入或离开引起的二次响应峰值被侧向抑制有效抑制，恢复发生在抑制消散之后。
• 该模型的输出与η-函数高度相关，表明通过采用对数编码和非线性整合，能够有效模拟LGMD的响应动力学。
• 尽管性能鲁棒，该模型仍会对非碰撞的大物体产生响应，表明需要引入额外的决策逻辑以准确区分真实碰撞。