[논문 리뷰] Evaluation of deep lift pose models for 3D rodent pose estimation based on geometrically triangulated data

Indrani Sarkar, Indranil Maji외 4명|arXiv (Cornell University)|2021. 06. 24.

Zebrafish Biomedical Research Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 다중 카메라 설정에서 기하학적으로 삼각측량된 2D 키포인트 데이터를 기반으로 훈련된 딥 리프트 모델을 사용하여 복잡한 행동 실험 환경에서도 강인한 3D 쥐 자세 추정 방법을 제안한다. 시간적 컨volution 네트워크가 단일 시야 2D 자세를 3D로 복원하는 데 선형 잔차 네트워크보다 우수한 성능을 보이며, 최적의 2.7초 시간 창에서 테스트 손실 0.45±0.003을 달성하여 신뢰할 수 있는 3D 자세 추론이 가능함을 입증한다.

ABSTRACT

The assessment of laboratory animal behavior is of central interest in modern neuroscience research. Behavior is typically studied in terms of pose changes, which are ideally captured in three dimensions. This requires triangulation over a multi-camera system which view the animal from different angles. However, this is challenging in realistic laboratory setups due to occlusions and other technical constrains. Here we propose the usage of lift-pose models that allow for robust 3D pose estimation of freely moving rodents from a single view camera view. To obtain high-quality training data for the pose-lifting, we first perform geometric calibration in a camera setup involving bottom as well as side views of the behaving animal. We then evaluate the performance of two previously proposed model architectures under given inference perspectives and conclude that reliable 3D pose inference can be obtained using temporal convolutions. With this work we would like to contribute to a more robust and diverse behavior tracking of freely moving rodents for a wide range of experiments and setups in the neuroscience community.

연구 동기 및 목표

• 다중 카메라 삼각측량이 가림과 기술적 제약으로 인해 어려운 복잡한 실험 환경에서 자유롭게 움직이는 쥐의 강인한 3D 자세 추정을 가능하게 하기 위해.
• 수직적인 아래쪽 및 옆쪽 시야 카메라를 사용하여 기하학적 校정 절차를 개발하여 2D 키포인트 검출에서 고품질의 3D 훈련 데이터를 생성하기 위해.
• 단일 시야 입력에서의 쥐 자세 복원에 대해 두 가지 딥 리프트 자세 모델—선형 잔차 네트워크와 확장된 시간 컨volution 네트워크—의 성능을 평가하기 위해.
• 쥐 행동 연구에서 정확한 3D 자세 재구성에 최적의 추론 시점과 시간 창 설정을 규명하기 위해.

제안 방법

• 자유롭게 움직이는 쥐의 행동을 50 Hz로 기록하기 위해 하나의 아래쪽 시야 카메라와 네 대의 옆쪽 시야 카메라를 사용한 다중 카메라 설정을 사용하였다.
• 2D 키포인트 검출은 1,000장의 레이블링된 이미지와 데이터 증강을 통해 일반화 능력을 향상시킨 ResNet 기반의 DeepLabCut 모델을 사용하여 수행되었다.
• 기하학적 校정은 체커보드 타겟을 사용하여 투영 행렬을 수립하고, 옆쪽 시야 투영에서의 깊이를 다항식 피팅을 통해 삼각측량하여 3D 좌표를 추정하였다.
• 삼각측량된 3D 데이터는 두 가지 딥 리프트 자세 모델—선형 잔차 네트워크와 확장된 시간 컨볼루션 잔차 네트워크—의 훈련에 사용되었다.
• 모델 평가를 위해 데이터는 10개의 랜덤 훈련/테스트 분할(80%/20%)로 무작위로 섞였으며, 150 에포크 동안 조기 정지와 학습률 감소 기법을 적용하였다.
• 시간 컨볼루션 모델은 15에서 243개의 타임스텝까지 다양한 시간 창 크기를 평가하여 3D 자세 예측에 최적의 맥락 길이를 도출하였다.

실험 결과

연구 질문

• RQ1 가림과 제한된 카메라 시야로 인해 어려운 상황에서도 기하학적으로 校정된 다중 카메라 시스템이 자유롭게 움직이는 쥐의 신뢰할 수 있는 3D 자세 데이터를 생성할 수 있는가?
• RQ2 쥐 행동 연구에서 단일 시야 2D 검출에서 3D 자세 복원에 대해 선형 잔차 네트워크와 시간 컨볼루션 네트워크 중 어느 모델이 더 우수한 성능을 보이는가?
• RQ3 시간 컨볼루션 모델의 최적의 시간 창 크기는 무엇인가? 3D 자세 추정 오차를 최소화하는 데 기여하는가?
• RQ4 시야 각도(예: 아래쪽, 옆쪽, 기울인 각도)는 딥 리프트 모델의 3D 자세 추정 성능에 어떤 영향을 미치는가?
• RQ5 특히 대칭적이거나 모호한 시야에서의 신체 부위 투영에 대해 모델들이 일반화 능력을 보일 수 있는가?

주요 결과

• 시간 컨볼루션 모델은 (x,y)→z 예측 작업에서 선형 잔차 모델의 테스트 손실 1.47±0.031보다 유의미하게 높은 성능을 보이며, 테스트 손실 0.45±0.003을 기록하였다.
• 시간 컨볼루션 모델의 최적의 시간 창 크기는 135 타임스텝(2.7초)이었으며, 이는 모든 설정에서 가장 낮은 테스트 손실을 기록하였다.
• x축 기준 45도 기울인 (x,z)→y 예측 방향에서 두 모델 모두 가장 낮은 테스트 손실을 기록하여, 대각선 시야 각도에서 성능 향상이 이루어짐을 시사하였다.
• (x,y)→z 예측에서 아래쪽 시야가 두 모델 모두 가장 정확하게 추정되었으며, 이는 아래쪽 시야 2D 데이터가 깊이 추정에 강력한 사전 지식을 제공함을 의미한다.
• 시간 컨볼루션 모델은 모든 시야 각도에서 선형 모델 대비 더 뛰어난 일반화 능력과 강인성을 보였으며, 테스트 손실의 변동성이 더 작았다.
• 최적의 시간 창(2.7초)은 자세 자기상관의 감쇠 시간(500ms)을 초과하여, 더 긴 범위의 시간적 의존성이 3D 자세 추정 정확도를 향상시킴을 시사한다.