[논문 리뷰] Exploiting Depth Information for Wildlife Monitoring

Timm Haucke, Volker Steinhage|arXiv (Cornell University)|2021. 02. 10.

Remote Sensing and LiDAR Applications참고 문헌 18인용 수 8

한 줄 요약

이 논문은 RGB-D 카메라 트랩에서의 깊이 정보를 통합하여 야생 동물 모니터링을 위한 개체 분할 성능을 향상시키는 새로운 딥러닝 방법인 D-Mask R-CNN을 제안한다. RGB 이미지와 함께 깊이 데이터를 활용함으로써, 개체 분할 성능이 상당히 향상되며, 경계 상자에 대해 평균 정밀도 47.85%와 마스크에 대해 35.49%를 기록하여 표준 Mask R-CNN보다 높은 성능을 보이며, 합성 및 실제 동물원 환경에서의 자동 생태 모니터링에 깊이 정보의 가치를 입증한다.

ABSTRACT

Camera traps are a proven tool in biology and specifically biodiversity research. However, camera traps including depth estimation are not widely deployed, despite providing valuable context about the scene and facilitating the automation of previously laborious manual ecological methods. In this study, we propose an automated camera trap-based approach to detect and identify animals using depth estimation. To detect and identify individual animals, we propose a novel method D-Mask R-CNN for the so-called instance segmentation which is a deep learning-based technique to detect and delineate each distinct object of interest appearing in an image or a video clip. An experimental evaluation shows the benefit of the additional depth estimation in terms of improved average precision scores of the animal detection compared to the standard approach that relies just on the image information. This novel approach was also evaluated in terms of a proof-of-concept in a zoo scenario using an RGB-D camera trap.

연구 동기 및 목표

• 카메라 트랩을 통한 야생 동물 모니터링에서 수작업 분석의 노동 집약성을 해결하기 위해, 카메라 트랩을 활용한 자동 동물 탐지 및 식별을 목표로 한다.
• 기존의 RGB만을 사용하는 전통적 카메라 트랩의 한계를 극복하기 위해 깊이 정보를 통합하여 객체 정위치 및 개체 분할 성능을 향상시키는 것을 목표로 한다.
• 복잡한 환경에서 개별 동물의 탐지 정확도를 향상시키기 위해 깊이 데이터를 활용하는 견고하고 모듈화된 딥러닝 프레임워크를 개발하는 것을 목표로 한다.
• 동물원 환경에서의 실증적 사례를 통해 RGB-D 카메라 트랩이 실제 생태 환경에서 어떻게 기능하는지와 성능 향상을 입증하는 것을 목표로 한다.
• 정밀한 깊이 기반 개체 분할을 제공하여 향후 거리 샘플링 및 존재-부재 모델링과 같은 생태 모델의 자동화를 가능하게 하는 것을 목표로 한다.

제안 방법

• RGB와 깊이 특징을 네트워크의 초기 단계에서 융합하여 개선된 객체 탐지 및 분할 성능를 확보하는 D-Mask R-CNN이라는 수정된 Mask R-CNN 아키텍처를 제안한다.
• 스테레오 기반 RGB-D 카메라 설정을 사용하여 깊이 맵을 생성하며, 빨간색은 가까운 거리를, 파란색은 먼 거리를 나타내는 열화상도 형태로 시각화한다.
• 깊이 데이터를 입력에 네 번째 채널로 통합하여 모델이 공간 관계를 학습하고 겹치거나 가까이 붙어 있는 동물의 정위치를 향상시킬 수 있도록 한다.
• 71:29 훈련-테스트 분할 비율을 사용하여 합성 데이터셋(1909프레임)과 실제 동물원 데이터셋(525프레임)에서 모델을 훈련 및 평가한다.
• 구현을 위해 detectron2 프레임워크를 활용하며, 사전 학습된 ImageNet 가중치를 사용하고 기존 Mask R-CNN 확장 기능과의 호환성을 유지한다.
• 표준 COCO 평가 지표를 적용하여 성능 향상을 정량화하며, 평균 정밀도(AP), AP50, AP75 및 클래스별 AP를 포함한다.

실험 결과

연구 질문

• RQ1 깊이 정보가 카메라 트랩 응용 분야에서 야생 동물 모니터링을 위한 개체 분할 정확도에 상당한 영향을 미칠 수 있는가?
• RQ2 RGB만을 사용하는 방법과 비교했을 때, 깊이 데이터 통합이 객체 탐지 및 분할 모델의 성능에 어떤 영향을 미치는가?
• RQ3 D-Mask R-CNN은 깊이 신호를 활용해 밀도가 높은 그룹(예: 동물 무리)에서 개별 동물을 얼마나 잘 구분할 수 있는가?
• RQ4 실제 동물원 환경에서 수집한 실시간 RGB-D 카메라 트랩 데이터셋에서 D-Mask R-CNN의 실세계 성능은 어떠한가?
• RQ5 제안된 방법은 거리 샘플링이나 관절점 탐지 기반 행동 분석과 같은 추가 생태 모델링 작업을 지원하는 데 확장 가능한가?

주요 결과

• 합성 데이터셋에서 D-Mask R-CNN은 경계 상자 탐지에 대해 평균 정밀도 47.85%를 기록하여 표준 Mask R-CNN의 38.04% 대비 9.81% 향상되었다.
• 개체 분할 마스크에 대해 D-Mask R-CNN은 35.49% AP를 달성하여 표준 Mask R-CNN의 26.47% 대비 9.02% 향상되었다.
• 실제 동물원 데이터셋(사슴 중심)에서 D-Mask R-CNN은 경계 상자 탐지에 대해 59.94% AP, 마스크 분할에 대해 37.27% AP를 기록했다.
• 특히 어려운 클래스인 토끼의 경우, AP가 Mask R-CNN의 6.63%에서 D-Mask R-CNN의 15.46%로 상승하여 뚜렷한 향상이 있었다.
• 깊이 통합은 높은 IoU 임계값에서 성능 향상을 크게 이끌었으며, AP75는 Mask R-CNN의 45.99%에서 D-Mask R-CNN의 54.99%로 상승하여 정위치 정확도 향상이 확인되었다.
• 동물원 환경에서의 실증 사례는 D-Mask R-CNN이 실세계 RGB-D 데이터에서 견고하게 작동하며, 경계 상자와 마스크 분할 모두에 대해 높은 AP50 점수(94.50%)를 기록했다.