[논문 리뷰] Automatic localization and decoding of honeybee markers using deep convolutional neural networks

Benjamin Wild, Leon Sixt외 1명|arXiv (Cornell University)|2018. 02. 13.

Insect and Arachnid Ecology and Behavior참고 문헌 27인용 수 20

한 줄 요약

이 논문은 두 개의 컨volution 신경망을 사용하는 딥러닝 기반 소프트웨어 파이프라인을 제시하여 꿀벌에 부착된 맞춤형 이진 마커를 자동으로 국소화하고 디코딩한다. 이로 인해 98.3%의 탐지 정확도와 87.8%의 디코딩 정확도를 달성하였으며, 이는 이전 시스템 대비 100배 빠른 처리 속도를 제공함으로써 여러 세대에 걸친 전체 꿀벌 군집의 장기적이고 고정확도의 추적을 가능하게 한다.

ABSTRACT

The honeybee is a fascinating model animal to investigate how collective behavior emerges from (inter-)actions of thousands of individuals. Bees may acquire unique memories throughout their lives. These experiences affect social interactions even over large time frames. Tracking and identifying all bees in the colony over their lifetimes therefore may likely shed light on the interplay of individual differences and colony behavior. This paper proposes a software pipeline based on two deep convolutional neural networks for the localization and decoding of custom binary markers that honeybees carry from their first to the last day in their life. We show that this approach outperforms similar systems proposed in recent literature. By opening this software for the public, we hope that the resulting datasets will help advancing the understanding of honeybee collective intelligence.

연구 동기 및 목표

• 꿀벌 군집 내에서 개인의 수명 주기 전체에 걸쳐 장기적이고 자동화된 추적을 가능하게 하기 위해.
• 변동하는 조도 조건과 가림 현상 하에서 기존 컴퓨터 비전 기법의 한계를 극복하여 맞춤형 이진 마커의 탐지 및 디코딩을 가능하게 하기 위해.
• 대규모 꿀벌 군집 행동 연구에 적합한 확장성 있고 견고하며 효율적인 시스템을 개발하기 위해.
• 수작업 기반 컴퓨터 비전 파이프라인에 의존하는 이전 시스템에 비해 수동 노동과 계산 비용을 줄이기 위해.
• 고정확도의 일생 동안의 개인 추적 데이터를 제공함으로써 집단 지능에 대한 연구를 지원하기 위해.

제안 방법

• 이중 단계의 딥러닝 파이프라인이 사용된다: 국소화 네트워크가 이미지 내 마커의 위치와 방향을 탐지하고, 이어서 디코딩 네트워크가 마커에서 이진 ID를 추출한다.
• 국소화 네트워크는 수작업으로 주석 처리된 마커 이미지 데이터로 훈련되어, 다양한 조도, 가림, 이미지 품질 변화 조건에서도 탐지 기능을 수행할 수 있다.
• 디코딩 네트워크 훈련을 위한 데이터 증강을 위해 생성적 적대 기반 네트워크(RenderGAN)를 사용하여 현실적인 마커 이미지를 합성한다.
• 디코딩 네트워크는 RenderGAN가 생성한 합성 데이터로 훈련되어, 광범위한 수작업 주석 처리 없이도 실제 환경의 이미지 변형에 일반화할 수 있다.
• 시스템은 유연하게 재학습이 가능하다: 새로운 국소화 주석 데이터만으로 재학습이 가능하며, 이후 단계는 합성 데이터 생성을 통해 자동화된다.
• 파이프라인은 소비자용 GPU 하드웨어(Geforce GTX 1080 Ti)에서 실시간 추론을 구현하며, 약 800只 꿀벌의 군집에 대해 3 Hz의 속도로 작동한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망이 실제 환경 조건에서 꿀벌에 부착된 맞춤형 이진 마커의 탐지 및 디코딩에서 기존 컴퓨터 비전 기법을 능가할 수 있는가?
• RQ2 변동하는 조도, 가림, 마커 노후화 조건에도 불구하고 시스템이 장기 관찰 동안 높은 정확도를 유지할 수 있는가?
• RQ3 RenderGAN가 생성한 합성 데이터가 마커 디코딩 네트워크 훈련 시 수작업 주석 처리의 필요성을 얼마나 줄일 수 있는가?
• RQ4 탐지, 디코딩 및 계산 효율성 측면에서 기존 마커 기반 추적 시스템과 비교해 시스템의 성능은 어떠한가?
• RQ5 최소한의 수동 간섭으로 여러 세대에 걸친 꿀벌 개인의 일생 동안의 추적을 시스템이 지원할 수 있는가?

주요 결과

• 시스템은 98.3%의 탐지 정확도와 87.8%의 디코딩 정확도를 곱한 방식으로 계산된 복합 정확도 86.3%를 달성한다.
• 딥러닝 파이프라인은 이전의 슈퍼컴퓨터에 의존하는 프로토타입 대비 처리 시간을 100배 단축시켰다.
• CNN이 학습한 불변성 덕분에 저조도, 렌즈 왜곡, 이미지 노이즈 등 다양한 이미지 조건에서도 높은 성능을 유지한다.
• 마커 수명이 향상되어 기계적 스트레스 조건에서도 수일간 지속되어 장기적 추적에 기여한다.
• 시간적 추적 및 비트 확률 평균화를 통한 후처리를 통해 탐색적 실험에서 복합 정확도를 96%까지 끌어올렸다.
• 소비자용 하드웨어에서 실시간 처리가 가능하며, 최대 800只 꿀벌의 전체 군집 추적을 지원한다.