[논문 리뷰] Multi-camera Realtime 3D Tracking of Multiple Flying Animals

Andrew Straw, Kristin Branson외 2명|arXiv (Cornell University)|2010. 01. 25.

Neurobiology and Insect Physiology Research참고 문헌 33인용 수 11

한 줄 요약

이 논문은 확장된 칼만 필터와 최소 거리 기반 데이터 연동을 사용하여 다중 카메라를 활용한 실시간 3D 추적을 위한 저지연 flydra 시스템을 제시한다. 시스템은 40 ms 이내의 지연을 달성하여 동적 감각 피드백 실험을 가능하게 하며, 표준 하드웨어를 사용하여 11대의 카메라에서 60 fps로 세 마리의 파리에 대한 강인한 추적 성능을 입증한다.

ABSTRACT

Automated tracking of animal movement allows analyses that would not otherwise be possible by providing great quantities of data. The additional capability of tracking in realtime - with minimal latency - opens up the experimental possibility of manipulating sensory feedback, thus allowing detailed explorations of the neural basis for control of behavior. Here we describe a new system capable of tracking the position and body orientation of animals such as flies and birds. The system operates with less than 40 msec latency and can track multiple animals simultaneously. To achieve these results, a multi target tracking algorithm was developed based on the Extended Kalman Filter and the Nearest Neighbor Standard Filter data association algorithm. In one implementation, an eleven camera system is capable of tracking three flies simultaneously at 60 frames per second using a gigabit network of nine standard Intel Pentium 4 and Core 2 Duo computers. This manuscript presents the rationale and details of the algorithms employed and shows three implementations of the system. An experiment was performed using the tracking system to measure the effect of visual contrast on the flight speed of Drosophila melanogaster. At low contrasts, speed is more variable and faster on average than at high contrasts. Thus, the system is already a useful tool to study the neurobiology and behavior of freely flying animals. If combined with other techniques, such as `virtual reality'-type computer graphics or genetic manipulation, the tracking system would offer a powerful new way to investigate the biology of flying animals.

연구 동기 및 목표

• 비행하는 다수의 동물(예: 파리, 새 등)을 위한 자동 3D 추적을 위한 저지연, 확장 가능한 시스템 개발.
• 시스템 지연을 40 ms 이내로 최소화하여 실시간 행동 실험 가능화.
• 마커 없는 다중 타깃 추적과 동적 자극 제어를 통합하여 신경생물학적 연구 지원.
• 다수의 저비용 카메라를 사용하여 대규모 공간에서 고해상도 추적 지원.
• 고정밀도, 고처리량 궤적 데이터를 통한 기계학습 및 행동 모델링을 위한 데이터 수집 지원.

제안 방법

• 시스템은 사후확률을 근사하기 위해 최대사후확률(MAP) 추정 방법을 사용하는 베이지안 프레임워크를 사용하여 타깃 상태 추정치를 반복적으로 업데이트한다.
• 확장된 칼만 필터(EKF)는 선형화된 운동 및 관측 모델을 사용하여 사후분포를 근사한다.
• 관측 모델은 상태 업데이트를 위한 야코비안 계산을 포함하는 비선형 관측 함수를 통합한다.
• 2D 이미지 관측치를 추적 타깃에 연결하기 위해 최소 거리 기반 표준 필터를 사용한 데이터 연동을 수행한다.
• 다중 카메라 시야에서 선형 최소제곱 삼각측량을 사용하여 3D 위치 및 자세를 재구성하며, 반사왜곡 보정을 적용한다.
• 상태 업데이트 모델은 타깃의 추적 영역 진입 및 탈출을 지원하여 강인한 다중 타깃 추적을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경생물학적 실험을 위해 최소한의 지연으로 다수의 비행 동물을 실시간 3D로 추적하는 방법은 무엇인가?
• RQ2 시각 대trast가 Drosophila melanogaster의 비행 속도와 변동성에 미치는 영향은 무엇인가?
• RQ3 확장 가능한 저비용 다중 카메라 시스템이 마커 없이 비행 동물의 정확한 3D 추적을 제공할 수 있는가?
• RQ4 다중 카메라 삼각측량은 대규모 추적 영역에서 공간 해상도 향상과 가림 효과 감소에 어떻게 기여하는가?
• RQ5 실시간 추적은 동적 감각 피드백을 갖춘 피드백 루프 실험을 얼마나 잘 가능하게 하는가?

주요 결과

• 시스템은 40 ms 미만의 지연을 달성하여 동물 비행 중 감각 피드백을 실시간으로 조작할 수 있다.
• 11대의 카메라 구성이 표준 Intel Pentium 4 및 Core 2 Duo 컴퓨터를 사용하여 동시에 세 마리의 Drosophila melanogaster를 60 프레임/초로 성공적으로 추적하였다.
• 낮은 시각 대비 조건에서는 Drosophila의 비행 속도가 높은 대비 조건보다 유의미하게 빠르고 변동성이 더 크다.
• 시스템은 낮은 가림 효과로 대규모 공간 영역에서 다수의 타깃을 강인하게 추적하는 데 성공하였다.
• 실시간 추적과 가상현실 또는 유전자 기법의 통합은 비행 행동의 신경 조절을 연구하는 데 새로운 길을 열었다.
• 다중 카메라 시야에서 반사왜곡 보정을 적용한 삼각측량을 통해 정확한 3D 위치 및 몸체 자세 재구성이 가능하다.