[논문 리뷰] A neural model of the locust visual system for detection of object approaches with real-world scenes

Matthias S. Keil, E. Roca외 1명|arXiv (Cornell University)|2018. 01. 24.

Neural dynamics and brain functionNeuroscience참고 문헌 15인용 수 16

한 줄 요약

이 논문은 실제 환경의 장면에서 강건한 충돌 탐지를 위한 메뚜기의 LGMD 뉴런에 생물학적으로 영감을 받은 신경 모델을 제시한다. ON/OFF 경로, 피드백 횡방향 억제, 그리고 확산 기반의 신호 전파를 통합함으로써, 배경 운동과 저대비 물체에 대한 반응을 효과적으로 억제하여 악조건의 시각 조건에서도 접근하는 물체를 신뢰성 있게 탐지한다.

ABSTRACT

In the central nervous systems of animals like pigeons and locusts, neurons were identified which signal objects approaching the animal on a direct collision course. Unraveling the neural circuitry for collision avoidance, and identifying the underlying computational principles, is promising for building vision-based neuromorphic architectures, which in the near future could find applications in cars or planes. At the present there is no published model available for robust detection of approaching objects under real-world conditions. Here we present a computational architecture for signalling impending collisions, based on known anatomical data of the locust \emph{lobula giant movement detector} (LGMD) neuron. Our model shows robust performance even in adverse situations, such as with approaching low-contrast objects, or with highly textured and moving backgrounds. We furthermore discuss which components need to be added to our model to convert it into a full-fledged real-world-environment collision detector. KEYWORDS: Locust, LGMD, collision detection, lateral inhibition, diffusion, ON-OFF-pathways, neuronal dynamics, computer vision, image processing

연구 동기 및 목표

• 실제 시각 환경에서 물체 접근을 탐지하기 위한 메뚜기 LGMD 뉴런에 생물학적으로 타당한 신경 모델을 개발하기 위해.
• 저대비 물체와 움직이는 배경과 같은 악조건에서 강건한 충돌 탐지 문제를 해결하기 위해.
• 이전 모델에 비해 억제 경로의 포화를 방지하기 위해 피드백 횡방향 억제를 도입함으로써 성능을 향상시키기 위해.
• 핵심 신경생리학적 원리를 통합함으로써, 자율 주행 차량을 위한 뉴모르픽 시각 시스템에 실용적으로 적용할 수 있도록 하기 위해.

제안 방법

• 모델는 영상 시퀀스에서 운동 신호를 추출하기 위해 빛의 강도 증가와 감소에 각각 민감한 두 개의 병렬 경로인 ON 및 OFF 경로를 사용한다.
• 운동 감지기(MD)는 누설 적분을 포함한 미분 방정식으로 모델링되어 시간에 따른 국소적 밝기 변화를 포착한다.
• 합산 단위(SU)는 MD의 출력을 통합하고 이를 횡방향 억제를 반영하는 반응-확산 과정으로 모델링한 확산 층에 입력한다.
• 피드백 억제는 억제 자체의 자극과 분리되어 구현되어, 억제가 소멸하고 지속적인 포화를 피할 수 있도록 한다.
• LGMD 뉴런은 SU의 활동을 통합하며, 그 출력은 최종 충돌 신호를 나타낸다.
• 모델는 로그 인코딩과 비선형 통합을 사용하여 신경생리학적 데이터와 일치하는 η-함수 반응을 근사한다.

실험 결과

연구 질문

• RQ1 메뚜기 LGMD 뉴런의 신경 모델은 복잡한 배경을 가진 실제 장면에서 어떻게 접근하는 물체를 강건하게 탐지할 수 있는가?
• RQ2 배경 운동과 같은 비충돌성 운동에 대한 반응을 억제하는 데 피드백 횡방향 억제가 수행하는 역할은 무엇인가?
• RQ3 ON 및 OFF 경로는 단일 경로 모델에 비해 접근하는 물체 탐지에 어떻게 기여하는가?
• RQ4 저대비 또는 고조도 조건에서 모델은 접근하는 물체에 대한 민감도를 유지할 수 있는가?
• RQ5 자율 주행과 같은 실제 응용 분야에 적합하게 하기 위해 추가로 어떤 메커니즘이 필요한가?

주요 결과

• 모델은 복잡한 장면인 보행자 횡단로나 고속도로 교통과 같은 실제 영상에서도 접근하는 물체를 성공적으로 탐지한다.
• 피드백 횡방향 억제는 억제 층의 포화를 방지하여 강한 배경 운동 조건에서도 모델이 계속 반응성을 유지할 수 있도록 한다.
• ON 및 OFF 경로는 확산 층의 총 활동을 감소시켜 잘못된 억제를 최소화하고 신호 대 잡음 비율을 향상시킨다.
• 물체의 진입 또는 퇴장으로 인한 2차 반응 피크는 횡방향 억제에 의해 억제되며, 억제가 소멸한 후 회복된다.
• 모델의 출력은 η-함수와 잘 일치하여, 로그 인코딩과 비선형 통합을 통해 LGMD의 반응 역학이 효과적으로 모방됨을 시사한다.
• 강건한 성능에도 불구하고 모델은 여전히 비충돌성 대형 물체에 반응하므로, 진정한 충돌을 구분하기 위해 추가적인 결정 논리가 필요하다.