[論文レビュー] Multimodal Fish Feeding Intensity Assessment in Aquaculture

Meng Cui, Xubo Liu+6 more|arXiv (Cornell University)|Sep 10, 2023

Water Quality Monitoring TechnologiesEnvironmental Science参考文献 67被引用数 3

ひとこと要約

本稿では、音声、映像、または音声・映像の入力を1つのアーキテクチャ内で処理できる、魚の餌やり強度評価（FFIA）のための統合的マルチモーダルモデルU-FFIAを提案する。モダリティドロップアウトと知識蒸留を活用することで、ベースラインモデルに比べてパrameterが54%少なく、FLOPsが77%低く、ノイズが多い環境でも頑健性を保つ。新たに作成された大規模な音声・映像データセットAV-FFIA（27,000件のラベル付きクリップを含む）を用いて実現した。

ABSTRACT

Fish feeding intensity assessment (FFIA) aims to evaluate fish appetite changes during feeding, which is crucial in industrial aquaculture applications. Existing FFIA methods are limited by their robustness to noise, computational complexity, and the lack of public datasets for developing the models. To address these issues, we first introduce AV-FFIA, a new dataset containing 27,000 labeled audio and video clips that capture different levels of fish feeding intensity. Then, we introduce multi-modal approaches for FFIA by leveraging the models pre-trained on individual modalities and fused with data fusion methods. We perform benchmark studies of these methods on AV-FFIA, and demonstrate the advantages of the multi-modal approach over the single-modality based approach, especially in noisy environments. However, compared to the methods developed for individual modalities, the multimodal approaches may involve higher computational costs due to the need for independent encoders for each modality. To overcome this issue, we further present a novel unified mixed-modality based method for FFIA, termed as U-FFIA. U-FFIA is a single model capable of processing audio, visual, or audio-visual modalities, by leveraging modality dropout during training and knowledge distillation using the models pre-trained with data from single modality. We demonstrate that U-FFIA can achieve performance better than or on par with the state-of-the-art modality-specific FFIA models, with significantly lower computational overhead, enabling robust and efficient FFIA for improved aquaculture management.

研究の動機と目的

• マルチモーダルデータを活用することで、魚の餌やり強度評価（FFIA）における頑健性と計算効率の両立を図ること。
• 音声、映像、または音声・映像の入力を別々のモデル特化なしに処理できる統合的ディープラーニングモデルの開発。
• 今後のマルチモーダルFFIA研究を支援するため、大規模かつ公開可能な音声・映像データセット（AV-FFIA）の作成とリリース。
• 音声と映像のモダリティを効果的に統合することで、ノイズが多い環境下でもモデル性能を向上させること。
• パラメータ効率の良いトレーニングと知識蒸留を活用して、デバイス内FFIAアプリケーションにおける計算オーバーヘッドを低減すること。

提案手法

• 著者らは、さまざまな魚の餌やり強度を捉えた27,000件のラベル付き音声・映像クリップを含む大規模な音声・映像データセットAV-FFIAを導入した。
• 音声および映像用の単一モダリティ事前学習モデル（例：音声用、映像用）を特徴抽出器として用い、その後、モダリティ統合技術で表現を統合した。
• 音声のみ、映像のみ、または音声・映像の入力を処理できる1つのアーキテクチャで動作する、新規の統合モデルU-FFIAを提案した。トレーニング時にモダリティドロップアウトを適用することで実現した。
• パラメータ増加なしに推論の複雑さを維持したまま、性能を向上させるために、事前学習済みの単一モダリティモデルから知識蒸留を適用した。
• 各モダリティの学習バランスを保ち、過学習を防ぐために、動的モダリティドロップアウト確率（P_av、P_a、P_v）を用いてモデルをトレーニングした。
• 動画フレームのダウンサンプリングとコンactな音声表現の使用により、FLOPsを最大77%まで低減することで、計算効率を向上させた。

Figure 1: Experimental systems for data collection. A hydrophone was underwater and the camera was deployed on a tripod with a height of about two meters to capture the video data.

実験結果

リサーチクエスチョン

• RQ1 パラメータの劣化を最小限に抑えて、音声、映像、音声・映像の複数モダリティを効果的に処理できる統合的ディープラーニングモデルは、魚の餌やり強度評価に有効であるか？
• RQ2 トレーニング時にモダリティドロップアウトを適用することで、統合的マルチモーダルFFIAモデルの一般化性能と頑健性はどのように向上するか？
• RQ3 事前学習済みの単一モダリティモデルからの知識蒸留は、統合的FFIAモデルの性能をどの程度向上させられるか？
• RQ4 リアルタイムのデバイス内養殖アプリケーションにおいて、音声・映像統合を用いる際の、モデルの精度と計算効率のトレードオフはいかほどか？
• RQ5 ノイズの多い環境下において、提案されたU-FFIAモデルは、モダリティ特化モデルと比較して、精度と頑健性に優れているか？

主な発見

• U-FFIAモデルは、パrameterが54%少なく、FLOPsが77%低いにもかかわらず、最先端のモダリティ特化モデルと同等またはそれ以上の性能を達成した。
• フルトランスフォーマーベースラインに比べ、動画処理では計算コストを77%、音声処理では50%低減したが、性能低下はわずか3%にとどまった。
• トレーニング時のモダリティドロップアウトは、特に単一モダリティ推論において一般化性能を顕著に向上させ、ドロップアウトなしで学習したモデルを上回った。
• 音声・映像統合モデルは、音声ストリームで0.824、映像ストリームで0.857のF1スコアを達成し、自己注意およびクロス注意ベースラインを上回った。
• 本モデルは、ノイズが多い環境下でも優れた頑健性を示し、単一モダリティモデルが失敗する状況でも高い性能を維持した。
• 27,000件のラベル付きクリップを含むAV-FFIAデータセットは、最初の大規模なマルチモーダルFFIAデータセットであり、今後の研究を支援するために公開された。

Figure 2: Video frames and mel spectrogram visualizations of four different fish feeding intensity: “ Strong ”, “ Medium ”, “ Weak ” and “ None ”.