[論文レビュー] Assessing fish abundance from underwater video using deep neural networks

Ranju Mandal, Rod M. Connolly+2 more|arXiv (Cornell University)|Jul 16, 2018

Water Quality Monitoring Technologies参考文献 7被引用数 10

ひとこと要約

本論文では、VGG-16、ResNet-50、Inception-V3の3つの事前学習済み分類ネットワークからの転移学習を活用した、Faster R-CNNに基づくエンドツーエンドのディープラーニングシステムを提案し、水中ビデアストリームから魚類の種を自動で検出・分類する。本手法は、オーストラリア南部クイーンズランド地方の50種の魚類および甲殻類を対象とした新規に整備されたデータセット上で、平均平均精度（mAP）82.4％を達成し、先行する最先端手法を顕著に上回った。

ABSTRACT

Uses of underwater videos to assess diversity and abundance of fish are being rapidly adopted by marine biologists. Manual processing of videos for quantification by human analysts is time and labour intensive. Automatic processing of videos can be employed to achieve the objectives in a cost and time-efficient way. The aim is to build an accurate and reliable fish detection and recognition system, which is important for an autonomous robotic platform. However, there are many challenges involved in this task (e.g. complex background, deformation, low resolution and light propagation). Recent advancement in the deep neural network has led to the development of object detection and recognition in real time scenarios. An end-to-end deep learning-based architecture is introduced which outperformed the state of the art methods and first of its kind on fish assessment task. A Region Proposal Network (RPN) introduced by an object detector termed as Faster R-CNN was combined with three classification networks for detection and recognition of fish species obtained from Remote Underwater Video Stations (RUVS). An accuracy of 82.4% (mAP) obtained from the experiments are much higher than previously proposed methods.

研究の動機と目的

• 水中ビデオ映像から魚類の個体数を手作業で評価する作業を自動化すること。
• 遮蔽、可変な照明、複雑な背景、スケール・ポーズの変化といった水中オブジェクト検出の課題に対処すること。
• 制約のない環境下で多様な海洋生物種をリアルタイムに検出・認識できる、耐障害性の高いエンドツーエンドシステムを開発すること。
• PASCAL VOC形式でアノテーション済みの標準化された、公開可能な50種の魚類および甲殻類のデータセットを構築・公開すること。
• 魚類個体数モニタリングにおいて、既存の準自動的および特徴量手作業ベースの手法よりも精度とスケーラビリティに優れた性能を達成すること。

提案手法

• エンドツーエンドのFaster R-CNNアーキテクチャを採用し、領域提案ネットワーク（RPN）と、3種類の異なるバックボーン分類ネットワーク（VGG-16、ResNet-50、Inception-V3）を組み合わせた。
• カスタム水中魚類データセット上で事前学習済み分類ネットワークを微調整することで、転移学習を適用し、特徴抽出の精度を向上させた。
• システムは動画フレームを処理し、物体のバウンディングボックスを生成し、各検出領域を事前に定義された種類クラスに分類する。
• オーストラリアのクイーンズランド南東部の複数のビーチおよび河口域から収集した50種の海洋生物のデータセットを、Vatic動画アノテーションツールを用いてアノテーションした。
• モデルのトレーニングと評価には、主に平均平均精度（mAP）を指標とし、90,000イテレーションにわたって性能を追跡した。
• 誤検出と見逃しの原因を特定するためのエラー解析を実施し、遮蔽と背景テクスチャの類似性が主な失敗要因であることが判明した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのシステムは、制約のない水中動画ストリームから魚類の種を高精度に検出・分類できるか？
• RQ2 水中魚類検出・分類の文脈において、異なるバックボーンネットワーク（VGG-16、ResNet-50、Inception-V3）の性能はどのように比較できるか？
• RQ3 限定的でドメイン特化された水中魚類データセットにおいて、事前学習モデルからの転移学習が検出精度をどの程度向上できるか？
• RQ4 実世界の水中環境下で自動魚類検出の主な失敗モードは何か。それらはどのように緩和できるか？
• RQ5 完全自動化されたシステムは、既存の準自動的または手作業特徴量ベースの手法よりも、精度とスケーラビリティの面で優れているか？

主な発見

• 提案されたシステムは、テストデータセット上で平均平均精度（mAP）82.4％を達成し、先行手法を顕著に上回った。これは、Spampinatoらの10種類のデータセットで54％を記録した結果と比較して顕著な向上である。
• VGG-16は70,000イテレーションで最高のmAP 0.72を達成したが、最終モデルでは全3ネットワークで90,000イテレーション後に82.4％のmAPに到達した。
• 本システムは、複雑な背景が混在する水中環境においても、多方向・多スケールの魚類を効果的に検出・分類できた。
• 誤検出（フォールスネガティブ）の主な原因は、群れをなす魚類における高い遮蔽であり、誤検出（フォールスポジティブ）は背景テクスチャが魚の模様に類似していることが原因であった。
• PASCAL VOC形式でアノテーション済みの50種のデータセットは、公開可能であり、今後の水中生物モニタリング分野における研究に大きな貢献となる。
• エンドツーエンドのディープラーニングパイプラインにより、リアルタイムで自動魚類個体数評価が可能となり、専門家による作業や手作業による動画解析への依存が大幅に削減された。