[논문 리뷰] Millisecond insect tracking system

T. Thang Vo‐Doan, Andrew Straw|arXiv (Cornell University)|2020. 02. 27.

Neurobiology and Insect Physiology Research참고 문헌 20인용 수 8

한 줄 요약

이 논문은 고속 패닉틸트 미러를 사용하여 텔레초프 카메라와 4분면 광다이오드를 조작하고, 곤충에 부착된 25mg의 리플렉터를 잠금고, 밀리초 정밀도의 곤충 추적 시스템을 제시한다. 이 시스템은 피드백 루프 지연이 밀리초 이내로 작동하여 고해상도, 저운동블러 영상 촬영이 가능하며, 축방향 3미터 범위와 수평 및 수직으로 각각 ±40도의 시야를 확보하여 전통적인 영상 기록에서 해상도와 추적 범위 사이의 상충관계를 극복한다.

ABSTRACT

Animals such as insects have provided a rich source of inspiration for designing robots. For example, animals navigate to goals via efficient coordination of individual motor actions, and demonstrate natural solutions to problems also faced by engineers. Recording individual body part positions during large scale movement would therefore be useful. Such multi-scale observations, however, are challenging. With video, for example, there is typically a trade-off between the volume over which an animal can be recorded and spatial resolution within the volume. Even with high pixel-count cameras, motion blur can be a challenge when using available light. Here we present a new approach for tracking animals, such as insects, with an optical system that bypasses this tradeoff by actively pointing a telephoto video camera at the animal. This system is based around high-speed pan-tilt mirrors which steer an optical path shared by a quadrant photodiode and a high-resolution, high-speed telephoto video recording system. The mirror is directed to lock on to the image of a 25-milligram retroreflector worn by the animal. This system allows high-magnification videography with reduced motion blur over a large tracking volume. With our prototype, we obtained millisecond order closed-loop latency and recorded videos of flying insects in a tracking volume extending to an axial distance of 3 meters and horizontally and vertically by 40 degrees. The system offers increased capabilities compared to other video recording solutions and may be useful for the study of animal behavior and the design of bio-inspired robots.

연구 동기 및 목표

• 고속 동물 영상 기록에서 해상도와 추적 범위 사이의 상충관계를 극복하기 위해.
• 대규모 비행 중 곤충의 신체 부위 운동을 고 fidelity, 다스케일 관찰하기 위해.
• 활동적인 광학 추적을 통해 빠르게 움직이는 곤충의 영상 기록에서 운동블러를 감소시키기 위해.
• 소형이고 민첩한 동물을 실시간으로 추적하기 위한 저지연, 피드백 루프 제어를 달성하기 위해.
• 고해상도, 장시간 영상 제공을 통해 복잡한 행동 분석과 바이오-유사 로봇 공학을 지원하기 위해.

제안 방법

• 고속 패닉틸트 미러 시스템이 고해상도, 고속 텔레초프 비디오 카메라와 4분면 광다이오드 사이의 공통 광경로를 활성적으로 조작한다.
• 곤충에 부착된 25밀리그램의 리플렉터를 광다이오드의 피드백을 이용해 정밀하게 잠금고 유지한다.
• 실시간으로 광경로를 동적으로 조정하여 곤충의 위치를 밀리초 수준의 지연으로 추적한다.
• 카메라가 고속 프레임 레이트로 작동하여 활성 조준 메커니즘 덕분에 고속에서도 운동블러를 최소화한다.
• 추적 범위는 축방향 3미터, 수평 및 수직으로 각각 ±40도로 확장되어 대규모 비행 관찰이 가능하다.
• 영상 촬영과 위치 피드백이 하나의 피드백 루프 제어 아키텍처에 통합되어 실시간 추적을 가능하게 한다.

실험 결과

연구 질문

• RQ1 활동적인 카메라 조준이 고속 비행 곤충 영상 촬영에서 운동블러를 현저히 감소시킬 수 있는가?
• RQ2 피드백 루프 광학 추적 시스템이 큰 3차원 부피에서 높은 해상도를 유지할 수 있는 정도는 어느 정도인가?
• RQ3 고속 카메라와 4분면 광다이오드의 통합이 추적 지연과 정밀도를 어떻게 향상시키는가?
• RQ4 소형 동물에 대한 리플렉터 기반 활성 광학 시스템에서 얻을 수 있는 최대 추적 부피와 해상도는 얼마인가?
• RQ5 이 시스템은 복잡한 곤충 비행 행동을 신뢰성 있게 장시간 관찰하면서 운동블러를 최소화할 수 있는가?

주요 결과

• 피드백 루프 지연이 밀리초 수준으로 확보되어 실시간으로 빠르게 움직이는 곤충을 추적할 수 있었다.
• 활동적인 카메라 조준 덕분에 고속 곤충에서도 운동블러가 현저히 감소하였다.
• 추적 부피는 축방향 3미터, 수평 및 수직으로 각각 ±40도로 확장되어 대규모 비행 관찰이 가능했다.
• 전체 추적 부피에서 고해상도 영상이 운동블러 최소화 상태로 성공적으로 촬영되었다.
• 4분면 광다이오드와 고속 텔레초프 카메라의 통합으로 추적 시스템의 정밀하고 실시간 위치 피드백이 가능해졌다.
• 프로토타입은 비행 중 곤충 신체 부위 운동의 다스케일, 고정밀 관찰 가능성을 입증하였다.