[논문 리뷰] Multimodal Fish Feeding Intensity Assessment in Aquaculture

Meng Cui, Xubo Liu외 6명|arXiv (Cornell University)|2023. 09. 10.

Water Quality Monitoring TechnologiesEnvironmental Science참고 문헌 67인용 수 3

한 줄 요약

이 논문은 단일 아키텍처 내에서 오디오, 영상 또는 오디오-영상 입력을 처리하기 위해 모odal dropout와 지식 정복을 활용하는 어류 급식 강도 평가(FFIA)를 위한 통합 다중모달 모델인 U-FFIA를 제안한다. 기존 모델 대비 54% 적은 파라미터와 77% 낮은 FLOPs를 기록하면서도, 27,000개의 레이블이 부여된 새로운 대규모 오디오-영상 데이터셋 AV-FFIA를 통해 소음 환경에서도 뛰어난 강인성을 확보한다.

ABSTRACT

Fish feeding intensity assessment (FFIA) aims to evaluate fish appetite changes during feeding, which is crucial in industrial aquaculture applications. Existing FFIA methods are limited by their robustness to noise, computational complexity, and the lack of public datasets for developing the models. To address these issues, we first introduce AV-FFIA, a new dataset containing 27,000 labeled audio and video clips that capture different levels of fish feeding intensity. Then, we introduce multi-modal approaches for FFIA by leveraging the models pre-trained on individual modalities and fused with data fusion methods. We perform benchmark studies of these methods on AV-FFIA, and demonstrate the advantages of the multi-modal approach over the single-modality based approach, especially in noisy environments. However, compared to the methods developed for individual modalities, the multimodal approaches may involve higher computational costs due to the need for independent encoders for each modality. To overcome this issue, we further present a novel unified mixed-modality based method for FFIA, termed as U-FFIA. U-FFIA is a single model capable of processing audio, visual, or audio-visual modalities, by leveraging modality dropout during training and knowledge distillation using the models pre-trained with data from single modality. We demonstrate that U-FFIA can achieve performance better than or on par with the state-of-the-art modality-specific FFIA models, with significantly lower computational overhead, enabling robust and efficient FFIA for improved aquaculture management.

연구 동기 및 목표

• 다중모달 데이터를 활용하여 어류 급식 강도 평가(FFIA)의 강인성과 계산 효율성이라는 이중적 과제를 해결하고자 한다.
• 오디오, 영상 또는 오디오-영상 입력을 별도의 모델 특화 없이 처리할 수 있는 통합 딥 러닝 모델을 개발하고자 한다.
• 미래 연구를 지원하기 위해 공개 가능한 대규모 오디오-영상 데이터셋(AV-FFIA)을 구축하고 공개하고자 한다.
• 오디오와 영상 모달을 효과적으로 융합하여 소음 환경에서도 성능을 향상시키고자 한다.
• 파라미터 효율적인 훈련과 지식 정복을 통해 현장 적용 기반의 FFIA 응용에서 계산 오버헤드를 줄이고자 한다.

제안 방법

• 저자들은 어류 급식 강도가 다양하게 촬영된 오디오 및 영상 클립 27,000개로 구성된 대규모 오디오-영상 데이터셋 AV-FFIA를 도입한다.
• 단일 모달 사전 훈련 모델(예: 오디오 및 영상용)을 특징 추출기로 활용하고, 이후 모달 융합 기법을 통해 표현을 통합한다.
• 훈련 중에 모달 드롭아웃을 적용하여 단일 아키텍처로 오디오 전용, 영상 전용, 또는 오디오-영상 입력을 모두 처리할 수 있도록 하는 새로운 통합 모델 U-FFIA를 제안한다.
• 사전 훈련된 단일 모달 모델에서 유도된 지식 정복을 통해 통합 U-FFIA 모델을 지도함으로써 추론 복잡도를 증가시키지 않고 성능을 향상시킨다.
• 모달 간 학습 균형을 맞추고 과적합을 방지하기 위해 동적 모달 드롭아웃 확률(P_av, P_a, P_v)을 사용하여 모델을 훈련한다.
• 영상 프레임의 다운샘플링과 컴act 오디오 표현을 활용하여 계산 효율성을 향상시켜 최대 77%의 FLOPs 감소를 달성한다.

Figure 1: Experimental systems for data collection. A hydrophone was underwater and the camera was deployed on a tripod with a height of about two meters to capture the video data.

실험 결과

연구 질문

• RQ1 단일 아키텍처로 오디오, 영상, 오디오-영상 등 다양한 모달을 처리할 수 있는 통합 딥 러닝 모델이 성능 저하를 최소화하면서 어류 급식 강도 평가에 효과적으로 기여할 수 있는가?
• RQ2 훈련 중에 모달 드롭아웃을 적용할 경우, 통합 다중모달 FFIA 모델의 일반화 능력과 강인성에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 단일 모달 모델에서 유도된 지식 정복이 통합 FFIA 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 실시간 현장 적용 기반 수산업 응용에서 오디오-영상 융합을 사용할 경우 정확도와 계산 효율성 간의 상호 보완적 관계는 어떠한가?
• RQ5 소음 환경에서 U-FFIA 모델이 모달 특화 모델 대비 정확도와 강인성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• U-FFIA 모델은 기존 최고 수준의 모달 특화 모델과 유사하거나 뛰어난 성능을 기록하며, 파라미터 수는 54% 감소하고 FLOPs는 77% 감소하였다.
• 전체 트랜스포머 기반 모델 대비 영상 처리 시 계산 비용은 77% 감소하고 오디오 처리 시 50% 감소하였으며, 성능 저하도 3%에 그쳤다.
• 훈련 중 모달 드롭아웃 적용이 일반화 능력 향상에 크게 기여하였으며, 특히 단일 모달 추론에서 드롭아웃 없이 훈련된 모델보다 뛰어난 성능을 보였다.
• 오디오-영상 융합 모델은 오디오 스트림과 영상 스트림에서 각각 0.824와 0.857의 F1 점수를 기록하여 자기 주의(Self-attention) 및 크로스 주의(Cross-attention) 기반 베이스라인을 능가했다.
• 제안된 모델는 단일 모달 모델이 실패하는 소음 환경에서도 뛰어난 강인성을 유지하며 고성능을 발휘하였다.
• 27,000개의 레이블이 부여된 AV-FFIA 데이터셋은 다중모달 FFIA 분야에서 최초의 대규모 다중모달 데이터셋이며, 향후 연구를 지원하기 위해 공개되었다.

Figure 2: Video frames and mel spectrogram visualizations of four different fish feeding intensity: “ Strong ”, “ Medium ”, “ Weak ” and “ None ”.