[논문 리뷰] Deep neural networks automate detection for tracking of submicron scale particles in 2D and 3D

Jay Newby, Alison Schaefer외 3명|arXiv (Cornell University)|2017. 04. 10.

Species Distribution and Climate Change참고 문헌 6인용 수 9

한 줄 요약

이 논문은 50,000개 이상의 파라미터를 가진 딥 컨volution 신경망을 제안하며, 사용자 정의 입력 파라미터 없이 2D 및 3D 영상에서 마이크로미터 이하 입자 추적을 자동화한다. 다양한 영상 조건에서 훈련된 모델은 높은 시공간 이질성과 낮은 신호 대 잡음 비율을 가진 복잡한 생물학적 환경에서도 매우 낮은 거짓 긍정 및 거짓 부정 비율을 달성하여 전통적 방법을 뛰어넘는 성능을 보인다.

ABSTRACT

Particle tracking is a powerful biophysical tool that requires conversion of large video files into position time series, i.e. traces of the species of interest for data analysis. Current tracking methods, based on a limited set of input parameters to identify bright objects, are ill-equipped to handle the spectrum of spatiotemporal heterogeneity and poor signal-to-noise ratios typically presented by submicron species in complex biological environments. Extensive user involvement is frequently necessary to optimize and execute tracking methods, which is not only inefficient but introduces user bias. To develop a fully automated tracking algorithm, we developed a convolutional neural network comprised of over 50,000 parameters, and employed deep learning to train the network on a diverse portfolio of video conditions. The neural network tracker, with no user-dependent input parameters, offered superior tracking performance, with exceptionally low lower false positive and false negative rates on both 2D and 3D simulated videos and 2D experimental videos of difficult-to-track species.

연구 동기 및 목표

• 기존 입자 추적 알고리즘에서 수동 파라미터 조정으로 인한 비효율성과 사용자 편향 문제를 해결하기 위해.
• 마이크로미터 이하 입자 영상에서 낮은 신호 대 잡음 비율과 높은 시공간 이질성을 다루는 데에 한계가 있는 기존 추적 방법의 한계를 극복하기 위해.
• 다양한 생물학적 영상 조건에서 사용자 입력 파라미터가 전혀 필요 없는 완전 자동 추적 시스템을 개발하기 위해.
• 딥 러닝을 활용하여 복잡한 환경에서 감지하기 어려운 마이크로미터 이하 입자를 강력하게 추적할 수 있도록 하기 위해.

제안 방법

• 영상 데이터에서 직접 특징을 학습하기 위해 50,000개 이상의 파라미터를 가진 컨volution 신경망(CNN)을 사용한다.
• 다양한 시뮬레이션 및 실험 영상 조건에서 네트워크를 훈련시켜 다양한 영상 과제에 일반화할 수 있도록 한다.
• 사용자 정의 임계값이나 필터링 파라미터가 필요 없도록 네트워크를 설계하여 입자를 검출하고 추적한다.
• 원시 영상 프레임에서 입자 위치 시간 시리즈(트레이스)로 직접 매핑하는 엔드 투 엔드 학습을 사용한다.
• 라벨이 부여된 입자 궤적을 기반으로 역전파와 확률적 경사 하강법을 사용해 네트워크를 최적화한다.
• 어려운 마이크로미터 이하 종류의 2D 실험 영상과 2D 및 3D 시뮬레이션 영상에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 마이크로미터 이하 입자 추적에서 사용자 정의 파라미터가 필요 없도록 할 수 있는가?
• RQ2 제안된 신경망 추적기의 성능은 기존 방법과 비교해 거짓 긍정 및 거짓 부정 비율 측면에서 어떻게 다른가?
• RQ3 다양한 신호 대 잡음 비율과 시공간 역학을 가진 다양한 영상 조건에서 모델의 일반화 능력은 어느 정도인가?
• RQ4 기존 방법이 실패하는 복잡한 생물학적 환경에서 모델이 강력한 추적 성능을 발휘할 수 있는가?

주요 결과

• 딥 신경망 추적기는 2D 및 3D 시뮬레이션 영상에서 매우 낮은 거짓 긍정 및 거짓 부정 비율을 달성했다.
• 다양한 영상 조건에서 기존 방법과 비교해 뛰어난 추적 성능을 보였다.
• 사용자 의존적 입력 파라미터가 전혀 필요 없어 추적 파이프라인의 완전 자동화를 가능하게 했다.
• 실제 2D 실험 영상에서 감지하기 어려운 마이크로미터 이하 입자를 높은 정확도로 성공적으로 추적했다.
• 높은 시공간 이질성을 가진 복잡한 생물학적 환경에서도 네트워크가 잘 일반화되었다.
• 이 방법은 사용자의 참여를 크게 줄였고, 입자 추적 워크플로우에서 사용자 편향을 완전히 제거했다.