[논문 리뷰] Robust Re-identification of Manta Rays from Natural Markings by Learning Pose Invariant Embeddings

Olga Moskvyak, Frédéric Maire외 3명|arXiv (Cornell University)|2019. 02. 28.

Identification and Quantification in Food인용 수 11

한 줄 요약

이 논문은 쌍방향 손실과 온라인 반경직된 하드 트리플릿 마이닝을 사용하여 자세 및 조명 변화에 강인한 임베딩을 학습하는 CNN 기반의 딥러닝 시스템을 제안한다. 이는 자연적인 무늬를 기반으로 멩타레이와 고래의 시각적 재식별을 위한 것으로, 상위 10개 정확도가 95% 이상을 기록하여 보존 응용 분야의 실용적 기준을 충족하며, 다양한 종과 이미지 조건에서도 일반화된다.

ABSTRACT

Visual identification of individual animals that bear unique natural body markings is an important task in wildlife conservation. The photo databases of animal markings grow larger and each new observation has to be matched against thousands of images. Existing photo-identification solutions have constraints on image quality and appearance of the pattern of interest in the image. These constraints limit the use of photos from citizen scientists. We present a novel system for visual re-identification based on unique natural markings that is robust to occlusions, viewpoint and illumination changes. We adapt methods developed for face re-identification and implement a deep convolutional neural network (CNN) to learn embeddings for images of natural markings. The distance between the learned embedding points provides a dissimilarity measure between the corresponding input images. The network is optimized using the triplet loss function and the online semi-hard triplet mining strategy. The proposed re-identification method is generic and not species specific. We evaluate the proposed system on image databases of manta ray belly patterns and humpback whale flukes. To be of practical value and adopted by marine biologists, a re-identification system needs to have a top-10 accuracy of at least 95%. The proposed system achieves this performance standard.

연구 동기 및 목표

• 시민 과학자들이 제공하는 저품질이며 조건이 다양한 이미지에서도 사용 가능한, 고유한 자연 무늬를 기반으로 한 개체별 자동 시각적 재식별을 위한 강인한 자동화된 시스템을 개발하는 것.
• 기존 시스템이 수동 이미지 정렬, 고화질 이미지, 특정 시점 요구 등로 한계를 지닌다는 점을 해결하는 것.
• 모델 재학습 없이도 데이터베이스에 새로운 개체를 식별할 수 있는 일반화된, 재학습이 필요 없는 솔루션을 만드는 것.
• 야생 생물 보존 분야에서 실용적인 성능 기준을 달성하는 것 — 구체적으로는 최소 95%의 상위 10개 정확도를 확보하는 것.

제안 방법

• 자세, 조명, 시점 변화에 강인한 임베딩을 학습하기 위해 InceptionV3 기반의 딥 컨volution 네트워크(CNN)를 사용한다.
• 동일 개체의 임베딩이 다른 개체의 임베딩보다 더 가까워지도록 보장하기 위해, 온라인 반경직된 하드 트리플릿 마이닝을 사용한 트리플릿 손실을 최적화한다.
• 기하학적 변형에 대한 일반화 및 강인성을 향상시키기 위해, 전체 회전과 반전을 포함한 광범위한 데이터 증강 기법을 훈련 중에 적용한다.
• 사용자는 관심 영역(예: 멩타레이 배면 또는 고래 꼬리)을 수동으로 바운딩 박스로 그린 후, 네트워크는 잘라낸 이미지를 처리한다.
• 학습된 임베딩 간의 L2 거리로 이미지 간 유사도를 측정함으로써, 임베딩 공간에서 효율적인 매칭을 가능하게 한다.
• 학습된 표현을 분석하고, 자세나 가림 상태 변화에도 불구하고 동일 개체의 임베딩이 군집되어 있음을 확인하기 위해 t-SNE 시각화를 사용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 멩타레이와 고래의 자연 무늬에 대해 자세 및 조명 변화에 강인한 임베딩을 학습할 수 있는가?
• RQ2 데이터 증강 기법은 다양한 이미지 조건 하에서 재식별 시스템의 강인성과 정확도에 어떤 영향을 미치는가?
• RQ3 학습 이미지의 수가 각 개체당 증가할수록 시스템의 상위 1개 정확도에 어떤 영향을 미치는가?
• RQ4 재학습 없이도 새로운 개체에 대해 얼마나 잘 일반화되는가?
• RQ5 학습된 임베딩는 다양한 시점과 부분 가림 상황에서도 유사도를 어떻게 유지하는가?

주요 결과

• 데이터베이스에 각 개체당 최소 3장의 이미지가 존재할 경우, 상위 10개 정확도가 98%에 도달하여 실용적 보존 응용을 위한 95% 기준을 초월한다.
• 각 개체당 이미지 수가 1장일 경우 상위 1개 정확도는 45%에서, 5장일 경우 81%로 상승하여, 동일 정체성에 대한 다수의 훈련 예제가 중요함을 입증한다.
• 데이터 증강을 줄일 경우 성능이 크게 저하된다 — 특히 전체 회전과 반전을 제거하면 상위 1개 정확도가 64%에서 54%로 감소하여, 이러한 기법이 강인성 학습에 기여함을 확인한다.
• t-SNE 시각화 결과, 다양한 시점과 경미한 가림 상태에서도 동일 멩타레이 또는 고래의 임베딩이 군집되어 있음을 확인하여 효과적인 특징 학습이 이루어졌음을 시사한다.
• 시스템은 종 간 일반화가 가능하다: 멩타레이 배면 무늬와 고래 꼬리 무늬 양쪽 모두에서 잘 작동하여, 종에 종속되지 않은 일반적인 설계임을 확인한다.
• 오류 매칭은 일반적으로 유사한 패턴이나 저대비 무늬(예: 흩어진 검은 점이 있는 경우 또는 전체적으로 검은 꼬리)에서 발생하며, 이러한 경우는 식별하기 어려운 편이다.