[논문 리뷰] Reconstructing the visual perception of honey bees in complex 3-D worlds

Johannes Polster, Julian Petrasch외 2명|arXiv (Cornell University)|2018. 11. 19.

Insect and Arachnid Ecology and Behavior참고 문헌 27인용 수 5

한 줄 요약

이 논문은 드론 기반 항공 촬영 영상과 생물학적으로 정확한 복합눈 모델링을 사용하여 꿀벌의 시각적 인지 환경을 재현하는 오픈소스 고해상도 3D 가상 환경을 제시한다. 벌의 위치에서 광선 캐스팅과 옴마티디움 샘플링 기하학을 시뮬레이션함으로써 비행 궤적 분석 및 신경-행동 상관관계 연구에 적합한 현실적인 시각 입력 재구성 기능을 제공한다.

ABSTRACT

Over the last decades, honeybees have been a fascinating model to study insect navigation. While there is some controversy about the complexity of underlying neural correlates, the research of honeybee navigation makes progress through both the analysis of flight behavior and the synthesis of agent models. Since visual cues are believed to play a crucial role for the behavioral output of a navigating bee we have developed a realistic 3-dimensional virtual world, in which simulated agents can be tested, or in which the visual input of experimentally traced animals can be reconstructed. In this paper we present implementation details on how we reconstructed a large 3-dimensional world from aerial imagery of one of our field sites, how the distribution of ommatidia and their view geometry was modeled, and how the system samples from the scene to obtain realistic bee views. This system is made available as an open-source project to the community on \url{http://github.com/bioroboticslab/bee_view}.

연구 동기 및 목표

• 항공 촬영을 통해 3D 가상 세계를 구축하여 꿀벌 이동 환경를 시뮬레이션한다.
• 실제 측정된 옴마티디움 간 각도(Δφ)와 수용 각도(Δρ)를 반영하여 꿀벌의 복합눈을 정확하게 모델링한다.
• 실험적으로 기록된 꿀벌의 비행 궤적에서 시각 입력을 3D 환경에서 재구성할 수 있도록 한다.
• 이동 이론 검증 및 시각 입력과 뇌 활동 간 상관관계 분석을 위한 오픈소스 플랫폼을 제공한다.
• 이전 모델의 한계를 극복하기 위해 복잡한 3D 환경을 지원하고 소스 코드 및 데이터에 대한 개방형 접근을 제공한다.

제안 방법

• 멀티로터 드론 기반 항공 영상과 사진측량 기반 3D 재구성 기법을 사용해 2.73 km² 규모의 현장 환경을 재구성하였다.
• 측정된 옴마티디움 간 각도(Δφ)와 수용 각도(Δρ)에 따라 분포하는 총 5500개의 옴마티디움을 포함한 꿀벌 복합눈 모델을 구현하였다.
• 각 옴마티디움의 시야 방향에서 3D 환경을 샘플링하기 위해 레이 캐스팅 기법을 구현하였으며, 통합을 위해 가우시안 가중치를 적용하였다.
• 3D 시각 입력을 복합눈 표면에 각도 및 공간 관계를 유지하면서 구면 투영 모델로 매핑하였다.
• 가상 환경 내 벌의 위치와 방향에 따라 동적 시각 입력 샘플링을 가능하게 하였다.
• GitHub에 오픈소스 소프트웨어(bee_view)로 배포하여 3D 세계 로딩, 옴마티디움 기하학, 실시간 렲영 기능을 지원하였다.

실험 결과

연구 질문

• RQ1 어떻게 항공 영상에서 3D 가상 환경을 재구성하여 이동하는 꿀벌의 시각 세계를 모델링할 수 있는가?
• RQ2 가상 환경에서 꿀벌 복합눈의 옴마티디움 샘플링 기하학을 가장 정확하게 모델링하는 방법은 무엇인가?
• RQ3 실험적으로 기록된 꿀벌 비행 궤적에서 유도된 시각 입력은 어느 정도의 정확도로 3D 가상 환경에서 재구성될 수 있는가?
• RQ4 사진측량 기반 3D 환경와 생물학적으로 정확한 옴마티디움 샘플링 기하학의 통합은 꿀벌의 시각 모델링 정밀도를 어떻게 향상시키는가?
• RQ5 이 시스템은 기록된 뇌 활동과 시각 입력을 연결함으로써 꿀벌 이동의 뇌 기반 상관관계에 새로운 통찰을 제공할 수 있는가?

주요 결과

• 드론 영상와 사진측량 기법을 활용해 2.73 km² 규모의 현장 환경을 성공적으로 3D로 재구성하였다.
• 측정된 옴마티디움 간 각도(Δφ: 1.5–4.6°)와 수용 각도(Δρ: 2.6–4.5°)를 정확히 반영한 옴마티디움 모델을 확보하였다.
• 가우시안 가중치와 1개 옴마티디움당 441개 샘플링 포인트를 적용한 레이 캐스팅 기법이 생물학적 기대와 일치하는 고해상도 시각 투영을 생성하였다.
• 가상 환경 내 벌의 위치와 방향에 따라 실시간으로 시각 입력을 재구성할 수 있어 행동 재현에 적합하다.
• GitHub에 오픈소스로 배포된 bee_view는 커뮤니티가 코드, 지ap 데이터, 옴마티디움 기하학을 모두 접근할 수 있도록 제공한다.
• 신경 스パイ크 트레인과 시각 입력 간 상관관계 분석과 같은 고급 응용이 가능하여 곤충 이동 및 시각 연구에 새로운 기회를 제공한다.