[論文レビュー] Counting Fish and Dolphins in Sonar Images Using Deep Learning

Stefan Schneider, Alex Zhuang|arXiv (Cornell University)|Jul 24, 2020

Marine animal studies overview参考文献 27被引用数 13

ひとこと要約

本論文は、アマゾン川のソナー画像から魚とイルカの個体数を数えるためのディープラーニング手法を提案する。限られた訓練データを補うためにデータ拡張を用い、20枚の実際の画像から最大25,000枚の合成画像を生成することで、DenseNet201およびXceptionモデルを用いて魚の平均誤差2.11、イルカの平均誤差0.133を達成した。これは、生態学的に困難な環境においても、効果的なリアルタイム個体数推定を可能にする。

ABSTRACT

Deep learning provides the opportunity to improve upon conflicting reports considering the relationship between the Amazon river's fish and dolphin abundance and reduced canopy cover as a result of deforestation. Current methods of fish and dolphin abundance estimates are performed by on-site sampling using visual and capture/release strategies. We propose a novel approach to calculating fish abundance using deep learning for fish and dolphin estimates from sonar images taken from the back of a trolling boat. We consider a data set of 143 images ranging from 0-34 fish, and 0-3 dolphins provided by the Fund Amazonia research group. To overcome the data limitation, we test the capabilities of data augmentation on an unconventional 15/85 training/testing split. Using 20 training images, we simulate a gradient of data up to 25,000 images using augmented backgrounds and randomly placed/rotation cropped fish and dolphin taken from the training set. We then train four multitask network architectures: DenseNet201, InceptionNetV2, Xception, and MobileNetV2 to predict fish and dolphin numbers using two function approximation methods: regression and classification. For regression, Densenet201 performed best for fish and Xception best for dolphin with mean squared errors of 2.11 and 0.133 respectively. For classification, InceptionResNetV2 performed best for fish and MobileNetV2 best for dolphins with a mean error of 2.07 and 0.245 respectively. Considering the 123 testing images, our results show the success of data simulation for limited sonar data sets. We find DenseNet201 is able to identify dolphins after approximately 5000 training images, while fish required the full 25,000. Our method can be used to lower costs and expedite the data analysis of fish and dolphin abundance to real-time along the Amazon river and river systems worldwide.

研究の動機と目的

• アマゾン川における魚およびイルカの個体数推定のためのソナー画像データが限られているという課題に対処すること。
• トロールボートから撮影されたソナー画像から、リアルタイムで自動的に魚およびイルカの個体数を数えるディープラーニングベースの手法を開発すること。
• 生態的コンピュータビジョンタスクにおいて小規模なデータセットの制限を克服するために、データ拡張の有効性を評価すること。
• 複数のディープラーニングアーキテクチャを用いて、個体数予測のための回帰と分類アプローチを比較すること。
• アマゾン川のイルカなど絶滅危惧種の監視を効率化するため、より速く、安価でスケーラブルな監視を可能にすること。

提案手法

• 著者らは、20枚のオリジナル訓練画像にランダムな回転、平行移動、背景置換を適用することで、合成ソナー画像を生成するカスタムのデータ拡張パイプラインを用いている。
• 拡張プロセスにより、20枚から25,000枚の合成画像にまでデータを段階的に増強し、実際のデータが少ないにもかかわらずモデルの汎化性能を向上させている。
• 回帰と分類の両方のタスクに、DenseNet201、InceptionResNetV2、Xception、MobileNetV2の4つのディープラーニングアーキテクチャを適用して、魚およびイルカの個体数を予測する。
• 回帰では連続的な個体数推定値を予測するが、分類では個体数を離散クラスとして扱い、15/85の訓練/テスト分割で両手法を評価している。
• モデルの性能は123枚の保留テスト画像上で評価され、主に平均二乗誤差と平均絶対誤差が主な指標として用いられている。
• 本研究では、アマゾン川の実際のソナーデータを収集するため、StarFish Seabed Imaging Systemを活用しており、現実的で生態学的なデータセットを提供している。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、アマゾン川の限られたソナー画像データから、魚およびイルカの個体数を正確に推定できるか？
• RQ2 訓練データが少ない状況で、データ拡張はモデル性能の向上にどの程度効果的か？
• RQ3 DenseNet201、InceptionResNetV2、Xception、MobileNetV2の中では、どのディープラーニングアーキテクチャがソナー画像における魚およびイルカの個体数数え上げに最も優れているか？
• RQ4 この文脈において、回帰と分類のどちらが個体数予測に効果的か？
• RQ5 魚およびイルカの個体数数え上げタスクで、信頼性のある性能を達成するために、どの程度の合成データが必要か？

主な発見

• 回帰手法を用いたDenseNet201は、魚の個体数数え上げで平均誤差2.11を達成し、他のモデルを上回った。
• Xceptionは回帰手法を用いて、イルカの個体数数え上げで平均誤差0.133を達成し、最良の性能を示した。
• 分類手法では、InceptionResNetV2が魚の個体数数え上げで平均誤差2.07を達成し、最も低かったが、MobileNetV2はイルカの個体数数え上げで0.245の平均誤差を記録した。
• イルカのシルエットは、より明確なピクセル表現を持つため、魚よりも学習が容易で、高い正確性に到達するための合成データ量が少なかった。
• DenseNet201のイルカ個体数数え上げ性能は、約5,000枚の合成画像を経て著しく向上したが、魚の個体数数え上げには25,000枚の合成画像が必要で、最適な結果が得られた。
• 本研究は、知的で効果的なデータシミュレーションにより、小規模な生態学的データセットに対してもディープラーニングモデルが効果的に汎化できることを示しており、川流域におけるリアルタイム個体数推定を可能にしている。