[논문 리뷰] Affinity LCFCN: Learning to Segment Fish with Weak Supervision

Issam Laradji, Alzayat Saleh외 4명|arXiv (Cornell University)|2020. 11. 06.

Water Quality Monitoring Technologies참고 문헌 49인용 수 10

한 줄 요약

이 논문은 단일 어류당 약 1초가 소요되는 점 레이블링만을 사용하는 약한 지도 학습 기반의 개체 분할 방법인 A-LCFCN을 제안한다. 이는 전 픽셀 레이블링에 비해 시간이 오래 소요되는 기존 방법을 대체한다. 학습 가능한 유사도 모듈을 완전 컨volution 네트워크와 통합하고, 무작위 보행을 통해 예측을 보정함으로써 A-LCFCN는 완전 지도 학습 모델과 유사한 분할 성능를 달성하면서도 레이블링 비용을 90% 이상 절감한다.

ABSTRACT

Aquaculture industries rely on the availability of accurate fish body measurements, e.g., length, width and mass. Manual methods that rely on physical tools like rulers are time and labour intensive. Leading automatic approaches rely on fully-supervised segmentation models to acquire these measurements but these require collecting per-pixel labels -- also time consuming and laborious: i.e., it can take up to two minutes per fish to generate accurate segmentation labels, almost always requiring at least some manual intervention. We propose an automatic segmentation model efficiently trained on images labeled with only point-level supervision, where each fish is annotated with a single click. This labeling process requires significantly less manual intervention, averaging roughly one second per fish. Our approach uses a fully convolutional neural network with one branch that outputs per-pixel scores and another that outputs an affinity matrix. We aggregate these two outputs using a random walk to obtain the final, refined per-pixel segmentation output. We train the entire model end-to-end with an LCFCN loss, resulting in our A-LCFCN method. We validate our model on the DeepFish dataset, which contains many fish habitats from the north-eastern Australian region. Our experimental results confirm that A-LCFCN outperforms a fully-supervised segmentation model at fixed annotation budget. Moreover, we show that A-LCFCN achieves better segmentation results than LCFCN and a standard baseline. We have released the code at \url{https://github.com/IssamLaradji/affinity_lcfcn}.

연구 동기 및 목표

• 어류 모니터링에서 전 픽셀 분할의 높은 레이블링 비용을 줄이기 위해 약한 지도 학습을 활용한다.
• 기존 점 수준 방법이 정확도가 떨어지는 경계나 큰 덩어리 형태의 결과를 유도하는 한계를 해결한다.
• 학습 가능한 유사도 모듈을 통해 복잡하고 길쭉한 형태의 어류에 대해 분할 정확도를 향상시킨다.
• 가짜 레이블링과 결합된 점 수준 지도 학습이 완전 지도 학습에 가까운 성능을 달성할 수 있음을 입증한다.
• 최소한의 인간 레이블링으로도 확장 가능하고 효율적인 어류 서식지 모니터링을 통해 지속 가능한 어업을 실현한다.

제안 방법

• 특징 추출을 위해 공유된 ImageNet 사전 훈련된 VGG16 백본을 사용하는 완전 컨volution 네트워크를 훈련한다.
• 이중 브랜치 아키텍처를 사용한다: 하나의 브랜치는 전 픽셀 클래스 점수를 예측하고, 다른 하나는 학습 가능한 픽셀 간 유사도 행렬을 예측한다.
• 무작위 보행 알고리즘을 통해 유사도 행렬과 픽셀 점수를 통합하여 국소적인 의미적 유사성 기반으로 분할 마스크를 보정한다.
• 정확한 위치 지정과 경계 준수를 장려하는 LCFCN 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• A-LCFCN가 생성한 마스크를 활용해 완전 지도 학습 모델을 정밀하게 보정하기 위해 가짜 마스킹(PM) 보정 단계를 적용한다.
• 최종 분할 출력에서 어류 개체를 추출하기 위해 연결 요소를 사용하여 세고 위치를 파악하는 작업을 수행한다.

실험 결과

연구 질문

• RQ1 점 수준의 지도 학습이 어류 개체 분할에서 완전 지도 학습 방법과 유사한 성능을 달성할 수 있는가?
• RQ2 학습 가능한 유사도 모듈을 통합함으로써 기존의 약한 지도 학습 방법보다 경계 정확도가 향상되는가?
• RQ3 더 큰 데이터셋과 다양한 어류 서식지가 포함된 데이터로 훈련했을 때 모델의 성능은 어떻게 되는가?
• RQ4 A-LCFCN가 생성한 가짜 레이블이 완전 지도 학습 분할 모델의 성능을 효과적으로 향상시킬 수 있는가?
• RQ5 높은 분할 정확도를 유지하면서도 이 방법이 레이블링 비용을 얼마나 줄이는가?

주요 결과

• 고정된 레이블링 예산(약 1500초) 하에서 A-LCFCN는 전면 지도 학습 모델인 FS-FCN보다 높은 mIoU를 기록하며, 점 수준 레이블링만을 사용함에도 불구하고 성능을 뛰어나게 한다.
• FishLoc 데이터셋에서 A-LCFCN는 평균 IoU 0.785를 달성하여 LCFCN(0.682)과 PL-FCN(0.641)보다 분할 품질에서 뚜렷한 우월성을 보였다.
• A-LCFCN+PM 변형은 FishLoc에서 mIoU를 0.812로, FishSeg에서는 0.768로 향상시켜 가짜 레이블링이 성능 향상에 기여함을 보여주었다.
• 정성적 결과에서 A-LCFCN는 LCFCN와 PL-FCN보다 더 정확한 경계 인식 분할을 생성하며, 큰 중심 덩어리 형태의 오류를 피하는 것으로 나타났다.
• 개선된 분할 성능에도 불구하고 A-LCFCN, A-LCFCN+PM, LCFCN 간의 세기 및 위치 파악 성능는 유사하게 유지되었으며(MAE ≈ 0.03–0.097), 이는 개체 탐지에 대한 강건성을 시사한다.
• 더 많은 훈련 데이터가 제공될수록 A-LCFCN는 더 나은 일반화 성능를 보였고, 반면 LCFCN는 경계 학습이 열악하여 성능이 정점에 도달하거나 저하되는 경향을 보였다.