[논문 리뷰] Panoptic Instance Segmentation on Pigs

Johannes Brünger, Maria Gentz외 2명|arXiv (Cornell University)|2020. 05. 21.

Animal Behavior and Welfare Studies참고 문헌 49인용 수 11

한 줄 요약

이 논문은 깊이 학습을 활용하여 돼지의 페노틱 인스턴스 세분화 프레임워크를 제안하여 픽셀 수준의 신체 윤곽 검출을 실현하고, 경계 상자와 관절점 검출 방식을 능가한다. 낮은 품질의 이미지와 가림 현상이 있는 환경에서도 1,000장의 수작업 레이블이 부여된 자체 제작 데이터셋에서 F1 스코어 95%를 기록하여 정밀 농업 농장에서 돼지의 크기와 체중을 정확하게 추정할 수 있게 한다.

ABSTRACT

The behavioural research of pigs can be greatly simplified if automatic recognition systems are used. Especially systems based on computer vision have the advantage that they allow an evaluation without affecting the normal behaviour of the animals. In recent years, methods based on deep learning have been introduced and have shown pleasingly good results. Especially object and keypoint detectors have been used to detect the individual animals. Despite good results, bounding boxes and sparse keypoints do not trace the contours of the animals, resulting in a lot of information being lost. Therefore this work follows the relatively new definition of a panoptic segmentation and aims at the pixel accurate segmentation of the individual pigs. For this a framework of a neural network for semantic segmentation, different network heads and postprocessing methods is presented. With the resulting instance segmentation masks further information like the size or weight of the animals could be estimated. The method is tested on a specially created data set with 1000 hand-labeled images and achieves detection rates of around 95% (F1 Score) despite disturbances such as occlusions and dirty lenses.

연구 동기 및 목표

• 돼지 행동 모니터링에서 경계 상자 및 관절점 검출의 한계를 해결하기 위해 픽셀 수준의 세분화를 가능하게 하기 위해.
• 가림, 저조도 조건과 같은 돼지 전용 과제에 특화된 의미적 및 인스턴스 세분화를 위한 통합 프레임워크를 개발하기 위해.
• 정확한 세분화 마스크를 통해 돼지의 크기와 체중을 정확하게 추정하기 위해.
• 페노틱 세분화 연구를 위한 1,000장의 수작업 레이블이 부여된 공개 가능하고 고품질의 데이터셋을 구축하기 위해.
• 복잡한 우리 환경에서의 오진 및 빠짐을 줄여 자동 돼지 모니터링 시스템의 신뢰성을 향상시키기 위해.

제안 방법

• 돼지 신체의 의미적 세분화를 위해 깊이 신경망 아키텍처(ResNet34, Inception-ResNet-v2 또는 조합)를 활용한다.
• 여러 개의 네트워크 헤드를 사용하여 인스턴스 마스크를 생성하고 세분화 경계를 정밀하게 조정한다.
• 후처리 기법을 적용하여 세분화 마스크에서 타원형 윤곽을 추출하고, 이를 통해 크기 및 체중 추정을 수행한다.
• 인스턴스 및 의미적 세분화 품질을 평가하기 위해 새로운 페노틱 평가 지표(PQ)를 적용한다.
• 겹치는 돼지와 프레임 가장자리에 위치한 개체를 처리하기 위해 데이터 증강 및 군집 기반 필터링을 구현한다.
• 오진 및 빠짐을 줄이기 위해 최소 픽셀 수 기준 등의 사고 검증 절차를 적용한다.

실험 결과

연구 질문

• RQ1 실제 농장 환경에서의 돼지 모니터링에 있어, 페노틱 인스턴스 세분화가 경계 상자 또는 관절점 검출 방식보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 가림, 저조도, 더러운 카메라 렌즈와 같은 일반적인 과제들에 대해 제안된 프레임워크는 어떤 성능을 보이는가?
• RQ3 경계 상자 기반 방법에 비해 픽셀 수준의 정확한 세분화가 돼지의 크기 및 체중 추정에 얼마나 향상된 성능을 제공하는가?
• RQ4 다양한 백본 네트워크(ResNet34, Inception-ResNet-v2)는 제안된 돼지 세분화 작업에서 어떤 성능 차이를 보이는가?
• RQ5 데이터 품질과 레이블 일관성은 돼지 시각 시스템에서 세분화 모델의 일반화 및 평가에 어떤 영향을 미치는가?

주요 결과

• 제안된 페노틱 세분화 프레임워크는 전체 테스트 세트에서 F1 스코어 95.5%를 기록하였으며, 일광 조건에서는 96.19%, 야간 시각 조건에서는 94.87%의 F1 스코어를 기록하였다.
• 가림 및 저조도 상황을 포함한 다양한 조건에서도 높은 정밀도(95.86%)와 재현율(95.14%)을 유지하였다.
• 제거 분석 결과, ResNet34와 Inception-ResNet-v2 백본 간 성능 차이가 미미하여 아키텍처 선택에 대한 강건성을 입증하였다.
• 프레임워크는 세분화 마스크에서 돼지 신체 둘레와 부피를 신뢰성 있게 추정할 수 있게 하여 체중 및 건강 모니터링에 기여하였다.
• 겹치는 돼지나 프레임 가장자리에 위치한 개체와 같은 과제에도 불구하고 일관된 성능을 기록하였으며, 오류 사례는 주로 레이블링의 모호성에서 기인하였다.
• 향후 연구의 공정한 벤치마킹을 가능하게 하기 위해 표준화되고 공개 가능한 데이터셋, 고정된 레이블링 규칙가 필요하다는 점을 강조하였다.