[논문 리뷰] ToxTrac: a fast and robust software for tracking organisms

Alvaro Rodriquez, Hanqing Zhang외 4명|arXiv (Cornell University)|2017. 06. 08.

Species Distribution and Climate Change참고 문헌 5인용 수 27

한 줄 요약

ToxTrac는 실험실 환경에서 다수의 생물체(곤충, 물고기, 설치류 등)를 자동으로 영상 추적하기 위한 오픈소스이자 빠르고 견고한 소프트웨어입니다. 내장된 카메라 캘리브레이션, 왜곡 보정 및 음영 처리에 대한 강력한 대응 기능을 통해 실시간 고속 추적(HD 영상 기준 25 fps 이상)이 가능하며, 다양한 형식으로 행동 통계 및 히트맵을 내보내줍니다.

ABSTRACT

1. Behavioral analysis based on video recording is becoming increasingly popular within research fields such as; ecology, medicine, ecotoxicology, and toxicology. However, the programs available to analyze the data, which are; free of cost, user-friendly, versatile, robust, fast and provide reliable statistics for different organisms (invertebrates, vertebrates and mammals) are significantly limited. 2. We present an automated open-source executable software (ToxTrac) for image-based tracking that can simultaneously handle several organisms monitored in a laboratory environment. We compare the performance of ToxTrac with current accessible programs on the web. 3. The main advantages of ToxTrac are: i) no specific knowledge of the geometry of the tracked bodies is needed; ii) processing speed, ToxTrac can operate at a rate >25 frames per second in HD videos using modern desktop computers; iii) simultaneous tracking of multiple organisms in multiple arenas; iv) integrated distortion correction and camera calibration; v) robust against false positives; vi) preservation of individual identification if crossing occurs; vii) useful statistics and heat maps in real scale are exported in: image, text and excel formats. 4. ToxTrac can be used for high speed tracking of insects, fish, rodents or other species, and provides useful locomotor information. We suggest using ToxTrac for future studies of animal behavior independent of research area. Download ToxTrac here: https://toxtrac.sourceforge.io

연구 동기 및 목표

• 행동 연구에서 다양한 생물체를 추적하기 위한 무료이자 사용자 친화적이며 견고한 소프트웨어의 부족을 보완한다.
• 신체 기하학적 형태에 대한 사전 지식 없이도 다수의 동물을 동시에 여러 실험 영역에서 추적할 수 있는 솔루션을 개발한다.
• 실제 환경 조건(음영, 조도 변화 등)에서도 고속 처리 성능과 신뢰성을 확보한다.
• 정확도 향상을 위해 추적 파이프라인 내부에 카메라 캘리브레이션 및 왜곡 보정 기능을 통합한다.
• 표준 형식(이미지, 텍스트, 엑셀)으로 실시간 행동 통계 및 시각화 자료(예: 히트맵)를 포괄적으로 제공한다.

제안 방법

• 실시간 영상 시퀀스에서 물체 검출 및 추적을 위한 컴퓨터 비전 알고리즘을 활용한다.
• 배경 차분 기법과 블롭 추적을 조합하여 개별 생물체를 식별하고 따라잡는다.
• 캘리브레이션 격자 또는 알려진 기준점들을 사용해 자동으로 카메라 캘리브레이션 및 렌즈 왜곡 보정을 수행한다.
• 임시 음영 또는 교차 상황에서도 개별 정체성을 유지할 수 있는 강력한 추적 프레임워크를 적용한다.
• 동적 임계값 설정 및 형태학적 필터링 기법을 통해 임의의 경고 신호를 줄이고 추적 안정성을 향상시킨다.
• 이미지 오버레이, 텍스트 로그, 엑셀 파일 등 다양한 형식으로 처리된 데이터를 내보낸다.

실험 결과

연구 질문

• RQ1 동일한 소프트웨어 도구로 다양한 종류의 생물체(무척추동물, 척삭동물, 척추동물 등)를 실시간으로 효율적이고 정확하게 추적할 수 있는가?
• RQ2 기본 실험 조건 하에서 기존 오픈소스 추적 도구와 비교해 ToxTrac의 처리 속도와 정확도는 어떠한가?
• RQ3 ToxTrac는 음영 또는 가까운 거리에서의 상호작용 상황에서도 개별 정체성을 얼마나 잘 유지할 수 있는가?
• RQ4 내장된 카메라 캘리브레이션 및 왜곡 보정 기능은 수동 설정 없이도 추적 정확도 향상에 얼마나 효과적인가?
• RQ5 ToxTrac는 원시 영상 데이터에서 직접 신뢰할 수 있고 사용자 친화적인 행동 통계 및 시각화 자료(예: 히트맵)를 생성할 수 있는가?

주요 결과

• ToxTrac는 표준 데스크톱 하드웨어를 사용해 HD 영상에서 25 프레임 이상/초의 실시간 추적 성능을 달성한다.
• 소프트웨어는 신체 형태나 기하학적 특성에 대한 사전 지식 없이도 여러 실험 영역에서 다수의 생물체를 동시에 추적할 수 있다.
• ToxTrac는 잘못된 경고 신호 처리 및 교차 또는 음영 상황에서도 개별 정체성 유지에 있어 강력한 성능을 보인다.
• 내장된 카메라 캘리브레이션 및 왜곡 보정 기능은 사용자 간섭 없이도 추적 정확도를 크게 향상시킨다.
• 시스템은 이동 거리 측정, 히트맵 등 행동 데이터를 이미지, 텍스트, 엑셀 형식으로 신뢰성 있게 내보내어 후속 분석에 활용 가능하다.
• 다양한 종류의 생물체와 실험 설정에서 기존 오픈소스 도구에 비해 속도, 내구성, 유연성 면에서 뛰어난 성능을 보인다.