[논문 리뷰] Beef Cattle Instance Segmentation Using Fully Convolutional Neural Network

Aram Ter-Sarkisov, Robert Ross외 3명|arXiv (Cornell University)|2018. 07. 05.

Food Supply Chain Traceability참고 문헌 14인용 수 12

한 줄 요약

이 논문은 영역 제안 네트워크(RPN)나 경계 박스 없이 종단 간 인스턴스 세분화를 수행할 수 있도록 완전 컨volution 네트워크(FCN8s)를 향상시키는 새로운 인스턴스 세분화 프레임워크인 MaskSplitter를 제안한다. 지도 데이터와의 오버랩 분석을 기반으로 픽셀 단위의 시그모이드 손실과 유클리드 거리 손실을 활용하여 마스크 예측을 정밀하게 보정함으로써, 어려운 소고기 CCTV 데이터셋에서 Mask R-CNN 대비 +8%의 mAP 향상을 달성하여 실생활 농장 환경에서 뛰어난 일반화 성능을 입증한다.

ABSTRACT

We present an instance segmentation algorithm trained and applied to a CCTV recording of beef cattle during a winter finishing period. A fully convolutional network was transformed into an instance segmentation network that learns to label each instance of an animal separately. We introduce a conceptually simple framework that the network uses to output a single prediction for every animal. These results are a contribution towards behaviour analysis in winter finishing beef cattle for early detection of animal welfare-related problems.

연구 동기 및 목표

• 저자원, 동적인 농장 환경에서 실시간으로 작동하며 RPN이 없는 인스턴스 세분화 방법을 개발하기 위해.
• CCTV 영상에서 소의 자세 변화와 가림 현상의 높은 변동성이 기존 모델의 일반화 능력을 저해하는 문제를 해결하기 위해.
• 지상 진술 오버랩 분석을 통해 FCN 출력을 보정하여 비 벤치마크 데이터셋에서의 인스턴스 세분화 성능을 향상시키기 위해.
• 단순하고 경량적인 아키텍처가 도메인 특화된 실생활 데이터에서 Mask R-CNN과 같은 복잡한 최신 기술 모델을 능가할 수 있음을 입증하기 위해.
• 동물 복지 모니터링과 같은 실용적 응용, 예를 들어 조기 기립 장애 탐지 및 행동 분석을 가능하게 하기 위해.

제안 방법

• 프레임워크는 FCN8s에 경량 헤드 네트워크를 추가하여 세 가지 유형의 마스크 표현을 예측한다: 한 마리의 동물과 정확히 겹치는 좋은 마스크, 여러 마리의 동물과 겹치는 마스크 또는 여러 마스크에 의해 가려지는 마스크 등 두 가지 유형의 나쁜 마스크.
• 지상 진술 마스크와의 오버랩을 기반으로 픽셀 단위의 시그모이드 손실과 유클리드 거리 손실을 조합한 새로운 손실 함수를 사용하여 마스크 예측을 정밀하게 보정한다.
• 각 마스크 유형별로 별도의 완전 연결 층을 포함하여 학습 중에 예측 품질을 분류할 수 있도록 한다.
• 예측 마스크와 지상 진술 간의 오버랩 분석을 수행하여 마스크 품질을 평가하고 학습을 이끌어내며, 경계 박스나 영역 제안이 필요하지 않다.
• 프레임워크는 벤치마크 데이터셋(MS COCO, Pascal VOC)과 자체 개발한 소고기 CCTV 데이터셋 모두에서 엔드 투 엔드로 훈련되며, 추가 파rameter 수는 약 187,000개로 매우 적다.
• 백본 네트워크가 점수 맵을 생성하는 모든 이미지 대 백그라운드 문제에 대해 일반화 가능하다.

실험 결과

연구 질문

• RQ1 경량적이고 RPN이 없는 인스턴스 세분화 프레임워크가 실생활에서 어려운 소 감시 데이터셋에서 Mask R-CNN과 같은 최신 기술 모델을 능가할 수 있는가?
• RQ2 제안된 오버랩 기반 마스크 보정 메커니즘이 경계 박스 예측 없이도 인스턴스 세분화 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ3 MaskSplitter 헤드를 갖춘 얕은 FCN8s 백본이 농장 CCTV 영상과 같은 도메인 이격된 데이터에 대해 얼마나 일반화 가능한가?
• RQ4 좋은 마스크, 나쁜 마스크1, 나쁜 마스크2의 세 가지 유형의 마스크 예측 헤드가 표준 마스크 예측 헤드보다 성능 향상에 기여하는가?
• RQ5 확장된 데이터 증강이나 모델 앙상블 없이도 제한된 도메인 특화 데이터에 대해 프레임워크를 효과적으로 미세조정할 수 있는가?

주요 결과

• 자체 개발한 소고기 CCTV 데이터셋에서 FCN8s + MaskSplitter 프레임워크는 최고의 Mask R-CNN 모델 대비 평균 정밀도(mAP)가 8.1%p 높아, 뛰어난 일반화 성능을 입증했다.
• 동일한 데이터셋에서 전체 및 헤드 전용 미세조정을 거친 Mask R-CNN보다도 성능이 뛰어나, 최고의 Mask R-CNN 결과를 8% 이상 초월했다.
• MS COCO 2017 데이터셋에서, Mask R-CNN에서 사용한 ResNet-101 대비 더 얕은 백본(FCN8s)을 사용했음에도 불구하고 경쟁 가능한 성능을 기록하여 강력한 특징 학습 효율성을 보였다.
• 소 데이터셋에서 AP@0.5 IoU는 67.8%를 기록하여, 동일한 훈련 조건에서 최고의 Mask R-CNN 결과(65.2%)를 크게 앞서며 뛰어난 성능을 입증했다.
• 제거 실험을 통해 오버랩 기반 손실을 갖춘 MaskSplitter 헤드의 추가가 성능 향상에 크게 기여했음을 확인하여, 표준 FCN8s 대비 설계 선택의 타당성을 입증했다.
• 반전 또는 회전과 같은 데이터 증강 기법 없이도 높은 성능을 달성하여 도메인 이격에 대한 강건성을 보였다.