[논문 리뷰] Automatic Controlling Fish Feeding Machine using Feature Extraction of Nutriment and Ripple Behavior

Hilmil Pradana, Keiichi Horio|arXiv (Cornell University)|2022. 08. 15.

Water Quality Monitoring Technologies인용 수 4

한 줄 요약

이 논문은 컴퓨터 시각을 활용해 영양소를 추적하고 리플 행동을 분석하여 최적화된 사료 공급을 위한 자동 어류 사료 공급 시스템을 제안한다. 물체 검출/추적과 리플 추정을 위한 문맥적 특징 추출을 결합한 방법은 실시간 성능가 3.86 fps를 달성하며, 수산업 환경에서 소형·고밀도 영양소 추적 분야에서 기존 최고 수준의 방법보다 빠르고 정확하다.

ABSTRACT

Controlling fish feeding machine is challenging problem because experienced fishermen can adequately control based on assumption. To build robust method for reasonable application, we propose automatic controlling fish feeding machine based on computer vision using combination of counting nutriments and estimating ripple behavior using regression and textural feature, respectively. To count number of nutriments, we apply object detection and tracking methods to acknowledge the nutriments moving to sea surface. Recently, object tracking is active research and challenging problem in computer vision. Unfortunately, the robust tracking method for multiple small objects with dense and complex relationships is unsolved problem in aquaculture field with more appearance creatures. Based on the number of nutriments and ripple behavior, we can control fish feeding machine which consistently performs well in real environment. Proposed method presents the agreement for automatic controlling fish feeding by the activation graphs and textural feature of ripple behavior. Our tracking method can precisely track the nutriments in next frame comparing with other methods. Based on computational time, proposed method reaches 3.86 fps while other methods spend lower than 1.93 fps. Quantitative evaluation can promise that proposed method is valuable for aquaculture fish farm with widely applied to real environment.

연구 동기 및 목표

• 수산업에서 40%의 생산 비용을 차지하는 일관되지 않은 어류 사료 공급 문제를 해결하기 위해.
• 정밀한 자동 사료 공급 제어를 통해 영양소 낭비와 수질 오염을 줄이기 위해.
• 복잡하고 동적인 수산업 환경에서 신뢰성 있게 기능하는 견고하고 실시간 시스템을 개발하기 위해.
• 실제 환경 조건에서 기존 기계적 센서와 실험실 기반 컴퓨터 시각 방법의 한계를 극복하기 위해.
• 영양소 이동과 리플 역학의 특징 추출을 통해 사료 공급 효율을 향상시키기 위해.

제안 방법

• 영상 프레임 내에서 작은, 빠르게 움직이는 영양소를 식별하고 따라잡기 위해 YOLOv3 기반의 물체 검출 및 추적을 사용한다.
• 추적된 위치와 움직임을 바탕으로 회귀 모델을 적용해 영양소 수를 추정한다.
• 수면 표면의 리플 행동을 감지하고 분석하기 위해 문맥적 특징 추출(예: GLCM)을 활용한다. 이는 사료 공급 활동의 지표로 기능한다.
• 영양소 수와 리플 강도 데이터를 결합하여 어류 사료 기계를 자동으로 작동 및 제어한다.
• 궤적 매핑과 운동 일관성의 통합을 통해 다수의 소형 물체가 고밀도로 상호작용하는 상황에서도 추적의 견고성을 향상시킨다.
• 실생활 수산업 영상 데이터를 대상으로 JDE, SORT 및 궤적 매핑과의 성능 비교를 위한 맞춤형 벤치마크 평가 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 복잡한 수산업 환경에서 실시간으로 다수의 소형·고속 이동 영양소를 정확하게 추적할 수 있는가?
• RQ2 문맥적 특징 기반 리플 행동 추정은 사료 공급 활동 예측과 사료 공급 제어 최적화에 얼마나 효과적인가?
• RQ3 이 논문에서 제안한 방법은 어류 양식 영상에서 소형 물체 추적 분야에서 기존 최고 수준의 추적 모델보다 속도와 정확도 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 영양소 추적과 리플 분석을 결합함으로써 자동 어류 사료 공급 시스템의 신뢰성과 효율성이 얼마나 향상되는가?
• RQ5 빛의 강도 변화, 잔여물, 어항 경계 등 다양한 환경 조건에서도 시스템이 일관된 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 표준편차 0.11 fps를 동반한 3.86 fps의 성능을 달성하며, 궤적 매핑(1.93 fps) 및 JDE(1.87 fps)와 같은 벤치마크 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 시스템은 크기가 13×36 픽셀에 불과한 영양소를 성공적으로 추적하며, 고밀도와 고속 이동 조건에서도 다른 방법들이 일관된 추적 결과를 도출하지 못하는 상황에서도 정확도를 유지한다.
• GLCM 등의 문맥적 특징을 활용한 리플 행동 추정은 사료 공급과 비사료 공급 이벤트를 효과적으로 구분하며, 사료 기계의 신뢰성 있는 작동을 가능하게 한다.
• 실생활 데이터셋에서 뛰어난 성능을 보였으며, 기존 실험실 기반 시스템이 손상되는 조건(예: 날아다니는 새, 잔여물 등)에서도 유의미한 성능 유지를 보였다.
• 계산 시간 분석 결과, 제안된 방법은 다음으로 빠른 벤치마크보다 약 2배 빠른 성능을 보였으며, YOLOv3+SORT 및 YOLOv3+TM의 경우 각각 0.45–0.47 fps에 머물렀다.
• 시각적 및 정량적 평가를 통해 영양소 추적과 리플 분석의 조합이 자동 사료 공급 제어를 위한 견고하고 상호보완적인 신호를 제공한다는 것이 확인되었다.