[논문 리뷰] BioTracker: An Open-Source Computer Vision Framework for Visual Animal Tracking

Hauke J. Mönck, A. Jörg외 8명|arXiv (Cornell University)|2018. 03. 21.

Advanced Vision and Imaging참고 문헌 10인용 수 33

한 줄 요약

BioTracker는 시각적 동물 추적을 가속화하기 위해 영상 입출력, GUI 도구, 데이터 내보내기 등의 재사용 가능한 핵심 컴포넌트를 제공하는 오픈소스 컴퓨터 비전 프레임워크입니다. 연구자들이 모듈식 플러그인을 통해 맞춤형 추적 알고리즘을 통합할 수 있도록 하여, 일반적인 기능과 문제에 특화된 시각 논리 간의 분리로 중복된 코드 작성을 줄이며, 다양한 동물 추적 과제—예: 물고기 군집, 벌, 생체모방 로봇—에 대한 빠른 프로토타이핑과 구현을 가능하게 합니다.

ABSTRACT

The study of animal behavior increasingly relies on (semi-) automatic methods for the extraction of relevant behavioral features from video or picture data. To date, several specialized software products exist to detect and track animals' positions in simple (laboratory) environments. Tracking animals in their natural environments, however, often requires substantial customization of the image processing algorithms to the problem-specific image characteristics. Here we introduce BioTracker, an open-source computer vision framework, that provides programmers with core functionalities that are essential parts of a tracking software, such as video I/O, graphics overlays and mouse and keyboard interfaces. BioTracker additionally provides a number of different tracking algorithms suitable for a variety of image recording conditions. The main feature of BioTracker is however the straightforward implementation of new problem-specific tracking modules and vision algorithms that can build upon BioTracker's core functionalities. With this open-source framework the scientific community can accelerate their research and focus on the development of new vision algorithms.

연구 동기 및 목표

• 기존 소프트웨어가 실패하는 복잡하거나 천연 환경에서 동물을 추적하기 위한 유연하고 확장 가능한 프레임워크의 부족을 해결합니다.
• 영상 입출력, GUI 상호작용, 데이터 내보내기 등의 공통 작업을 공유된 핵심 프레임워크로 추상화하여 개발 오버헤드를 줄입니다.
• 연구자들이 저수준 인프라를 다시 구현하는 데서 벗어나 새로운 영상 처리 알고리즘 설계에 집중할 수 있도록 합니다.
• 사용자 정의 추적 모듈의 동적 로딩을 지원하여, 하나의 인터페이스 내에서 여러 알고리즘을 간편하게 테스트하고 비교할 수 있도록 합니다.
• 표준화되고 확장 가능한 플랫폼을 제공함으로써 재현 가능성과 협업을 촉진합니다.

제안 방법

• 데이터, 논리, 사용자 인터페이스 컴포넌트를 분리하기 위해 모델-뷰-컨트롤러(MVC) 아키텍처를 사용한 모듈식 프레임워크를 설계합니다.
• 영상 입력/출력, 재생 제어, 줌 기능, 트랙포인트 편집, 결과 내보내기 등을 일반 형식으로 처리하는 핵심 컴포넌트를 구현합니다.
• 추적 모듈을 위한 플러그인 인터페이스를 정의하여 개발자가 표준 메서드 호출을 통해 핵심 기능과 통합할 수 있는 맞춤형 알고리즘을 구현할 수 있도록 합니다.
• OpenCV를 사용해 컴퓨터 비전 연산을, Qt를 사용해 GUI 컴포넌트를 처리하여 크로스플랫폼 호환성(Windows, Linux, Mac)을 확보합니다.
• 배경 차분 및 특징 검출과 같은 공통 추적 과제를 단순화하기 위한 유틸리티 컴포넌트를 제공하여 모듈 내에서 반복 코드를 줄입니다.
• 재사용 가능한 플러그인 준비 구현을 통해 룩커스-카나데 광학 흐름 및 적응형 배경 모델링(Lucas-Kanade optical flow, adaptive background modeling, 예: KaewTrakulPong & Bowden)과 같은 고급 알고리즘의 통합을 지원합니다.

실험 결과

연구 질문

• RQ1 모듈식이고 오픈소스인 프레임워크는 비표준 환경에서 새로운 동물 추적 솔루션을 구현하기 위해 필요한 개발 시간과 노력을 줄일 수 있는가?
• RQ2 공유된 핵심 프레임워크는 자연 환경에서의 물고기, 벌의 춤, 생체모방 로봇 등 다양한 추적 문제를 얼마나 잘 지원할 수 있는가?
• RQ3 핵심 기능과 추적 논리 간의 분리가 추적 소프트웨어의 확장성과 유지보수성에 어떻게 기여하는가?
• RQ4 연구자들이 도구 전환 없이 하나의 일관된 사용자 인터페이스 내에서 여러 추적 알고리즘을 효율적으로 비교하고 테스트할 수 있는가?
• RQ5 이 프레임워크는 생태학적 및 행동 연구 분야에서 새로운 시각 알고리즘의 빠른 프로토타이핑과 구현을 가능하게 하는가?

주요 결과

• BioTracker는 RoboFish 프로젝트에서 실험 탱크 내 물고기의 실시간 추적을 성공적으로 구현하여, 폐쇄형 피드백 상호작용 시나리오를 지원했습니다.
• 영상 입출력 및 GUI 제어와 같은 공통 작업의 중복 구현을 줄여 여러 프로젝트 간 개발을 간소화했으며, 다양한 추적 문제에 대한 개발을 효율화했습니다.
• 배경 차분 및 광학 흐름 기반 추적기와 같은 사용자 정의 추적 모듈이 동일한 인터페이스 내에서 성공적으로 통합되고 테스트되어 직접 비교가 가능했습니다.
• 모듈식 아키텍처 덕분에, 고기, 물고기, 메기, 꿀벌, 꿀벌 등 다양한 동물 모델 간 핵심 컴포넌트를 재사용할 수 있었습니다.
• 동적 플러그인 로딩 및 표준화된 인터페이스 지원 덕분에 일관된 사용자 경험을 확보하고, 다양한 추적 응용 프로그램 간 전환 시 학습 곡선을 줄일 수 있었습니다.
• 이 프레임워크는 Poecilia mexicana의 사회적 행동 연구 및 꿀벌의 탐색 행동 연구를 포함한 다수의 논문에 채택되어 실제 연구 현장에서의 실용성을 입증했습니다.