[논문 리뷰] ABCTracker: an easy-to-use, cloud-based application for tracking multiple objects

Lance Rice, Samual Tate외 7명|arXiv (Cornell University)|2020. 01. 27.

Species Distribution and Climate Change인용 수 4

한 줄 요약

ABCTracker는 클라우드 기반의 사용자 친화적인 다중 객체 추적 시스템으로, 연구자가 표시, 자동 추적, 보정의 세 단계 워크플로우를 통해 영상 속 동물을 추적할 수 있도록 한다. 최소한의 기술 전문 지식으로도 사용할 수 있으며, 세 번의 클릭으로 표시하는 방법을 통해 파라미터를 자동으로 최적화하고, 다양한 환경에서 표시된 동물과 표시되지 않은 동물을 고도로 정확하고 확장 가능한 방식으로 추적한다. 서버 기반 처리 및 자동 영상 조각화를 통해 이를 실현한다.

ABSTRACT

Visual multi-object tracking has the potential to accelerate many forms of quantitative analyses, especially in research communities investigating the motion, behavior, or social interactions within groups of animals. Despite its potential for increasing analysis throughput, complications related to accessibility, adaptability, accuracy, or scalable application arise with existing tracking systems. Several iterations of prototyping and testing have led us to a multi-object tracking system -- ABCTracker -- that is: accessible in both system as well as technical knowledge requirements, easily adaptable to new videos, and capable of producing accurate tracking data through a mixture of automatic and semi-automatic tracking features.

연구 동기 및 목표

• 기존의 다중 객체 추적 시스템이 지닌 접근성, 적응성, 확장성 문제를 해결하기 위해.
• GPU, 복잡한 설치 절차, 영상 처리 전문 지식이 필요 없도록 연구자의 기술적 장벽을 낮추기 위해.
• 정적 카메라 영상에서 표시된 동물과 표시되지 않은 개체를 포함한 다수의 동물을 정확하고 재현 가능한 방식으로 추적할 수 있도록 하기 위해.
• 자동으로 영상 조각화 및 병렬 서버 기반 계산을 통해 장시간 영상 시퀀스를 효율적으로 처리할 수 있도록 하기 위해.
• 사용자 노력 최소화로 추적 정확도를 향상시킬 수 있는 직관적인 보정 도구(수동 및 안내 모드)를 제공하기 위해.

제안 방법

• 사용자가 몇 장의 프레임에서 머리, 중간, 꼬리/발을 세 번 클릭하여 객체를 표시함으로써 모든 추적 파라미터를 자동으로 최적화하는 클라이언트/서버 아키텍처를 채택한다.
• 서브루틴의 교체가 가능한 모듈식 추적 파이프라인을 사용하여 향후 새로운 알고리즘 통합과 다양한 추적 과제에의 적응성을 보장한다.
• 장시간 영상 처리를 위해 자동으로 영상을 조각으로 나누고, 이를 원격 서버에서 병렬로 처리함으로써 확장성 향상과 단위 조각의 처리 시간 단축을 달성한다.
• 정적 카메라 영상 기록을 위해 최적화된 일반 목적의 다중 객체 추적 알고리즘을 기본으로 사용하며, 객체의 제한 또는 환경 복잡성에 대한 가정 없이 작동한다.
• 두 가지 보정 모드를 제공한다: 전체 편집 제어와 시각화 도구를 제공하는 수동 모드와 공통 오류를 식별하고 사용자에게 수정 절차를 안내하는 안내 모드.
• 맥락 인식 도움 대화상자와 최소한의 시스템 요구 사항(단지 자바)을 활용하여 다양한 컴퓨팅 환경에서 넓은 접근성을 확보한다.

실험 결과

연구 질문

• RQ1 클라우드 기반, 기술 지식이 최소한인 추적 시스템이 다양한 생물학적 영상 기록에서 높은 정확도와 확장성을 달성할 수 있는가?
• RQ2 세 번의 클릭 표시 절차가 다양한 동물 종류와 영상 조건에서 추적 파라미터를 자동으로 최적화하는 데 얼마나 효과적인가?
• RQ3 수동 보정 방식에 비해 안내 보정 모드가 사용자 노력 감소와 정확도 향상에 얼마나 기여하는가?
• RQ4 자동 영상 조각화 및 병렬 처리가 장시간 영상 시퀀스 처리 능력을 어떻게 향상시키는가?
• RQ5 사전 파라미터 최적화 없이도 복잡하거나 혼잡한 배경에서 표시된 동물과 표시되지 않은 동물 모두에 대해 효과적으로 일반화할 수 있는가?

주요 결과

• ABCTracker는 간단한 환경과 복잡한 환경에서 모두 표시된 동물과 표시되지 않은 동물(개미, 나방, 제브라피시 포함)을 포함해 350건 이상의 영상을 성공적으로 처리했다.
• 세 번의 클릭 표시 절차를 통해 영상 처리나 추적 파라미터에 대한 직접적인 사용자 입력 없이도 자동으로 파라미터를 최적화할 수 있다.
• 안내 보정 모드는 일반적인 추적 오류를 효과적으로 식별하고 사용자에게 수정 절차를 안내함으로써 전통적인 수동 방법 대비 보정 효율성을 높인다.
• 자동 영상 조각화를 통해 시스템의 기본 제한을 초월한 장시간 시퀀스 처리가 가능해졌으며, 원격 서버에서의 병렬 처리로 확장 가능한 처리 능력이 향상되었다.
• 배치 처리를 지원함으로써 추적 작업이 서버에서 진행되는 동안 사용자는 동시에 다른 영상의 표시, 추적, 보정 작업을 수행할 수 있어 워크플로우 효율성이 극대화된다.
• 복잡한 자세(예: 뱀) 처리에 한계가 있음에도 불구하고, 다양한 동물 종류와 기록 조건에 대해 강력한 일반화 능력을 입증했다.