[論文レビュー] The iWildCam 2019 Challenge Dataset

Sara Beery, Dan Morris+1 more|arXiv (Cornell University)|Jul 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 18被引用数 12

ひとこと要約

iWildCam 2019 Challenge Dataset は、アメリカ南西部（Caltech Camera Traps）のカメラトラップデータを用いて学習し、アメリカ北西部（IDFG）の新たな未観測データセットでテストすることで、野生生物画像分類におけるゼロショットおよびフェイワショット一般化を評価するベンチマークを提供する。iNaturalist および合成された TrapCam-AirSim データを追加で活用している。シンプルなベースラインモデルはマクロF1スコアが0.125にとどまり、実世界の野生生物モニタリングにおける地域間一般化の大きな挑戦を示している。

ABSTRACT

Camera Traps (or Wild Cams) enable the automatic collection of large quantities of image data. Biologists all over the world use camera traps to monitor biodiversity and population density of animal species. The computer vision community has been making strides towards automating the species classification challenge in camera traps, but as we try to expand the scope of these models from specific regions where we have collected training data to different areas we are faced with an interesting problem: how do you classify a species in a new region that you may not have seen in previous training data? In order to tackle this problem, we have prepared a dataset and challenge where the training data and test data are from different regions, namely The American Southwest and the American Northwest. We use the Caltech Camera Traps dataset, collected from the American Southwest, as training data. We add a new dataset from the American Northwest, curated from data provided by the Idaho Department of Fish and Game (IDFG), as our test dataset. The test data has some class overlap with the training data, some species are found in both datasets, but there are both species seen during training that are not seen during test and vice versa. To help fill the gaps in the training species, we allow competitors to utilize transfer learning from two alternate domains: human-curated images from iNaturalist and synthetic images from Microsoft's TrapCam-AirSim simulation environment.

研究の動機と目的

• 訓練データに存在しない新しい地理的地域および未確認種を含む地域に、機械学習モデルがどの程度一般化できるかを評価すること。
• 野生生物カメラトラップ画像分類におけるゼロショットおよびフェイワショット一般化をテストするベンチマークを構築すること。
• 実世界の展開課題を模擬するため、一部のクラス重複と長尾分布を有するアイダホ州（IDFG）のテストセットを提供すること。
• iNaturalist（市民科学者の実際の画像）および TrapCam-AirSim（合成シミュレーション）といった補助ドメインからの転移学習を可能にし、一般化性能を向上させること。
• グローバルな生物多様性モニタリングのためのスケーラブルでリアルタイムな種の識別システムの開発を促進すること。

提案手法

• 訓練データは、アメリカ南西部の143か所からなる Caltech Camera Traps (CCT) データセットから抽出され、14種の動物クラスまたは「空」のラベルが付与された292,732枚の画像で構成される。
• テストセットはアイダホ州魚・野生生物局（IDFG）から提供され、アイダホ州の100か所からなる153,730枚の画像で構成され、8つのクラス（マウンテンリオン、モールス、オオカミ、クロバーベア、ブロンハーン、エルク、シカ、空）をカバーしており、訓練データのクラスと一部重複する。
• 参加者は、iNaturalist（2017年および2018年データセット）およびマイクロソフトの TrapCam-AirSim 合成データジェネレータからの転移学習を利用可能であり、多様な自然環境と動植物を模擬する。
• ベースラインモデルは、Inception-ResNet-V2 を用いて学習され、データ拡張（ランダムクロッピング、反転、色の歪み）を施した後、CCT および iNat-Idaho データで微調整され、RMSProp を用い、学習率0.0045で最適化される。
• 動物の検出には、Inception-ResNet-V2 をバックボーンとする Faster R-CNN モデルが提供され、各画像に対して上位100個のバウンディングボックスと信頼度スコアが提供される。
• 本チャレンジでは、希少クラスのパフォーマンスを強調し、精度よりもRecallを重視するために、主にマクロ平均F1スコアを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 アメリカ南西部で学習したモデルが、一部の種が重複するが訓練データにないアメリカ北西部の異なる地域にどの程度一般化できるか？
• RQ2 iNaturalist および合成された TrapCam-AirSim データからの転移学習が、野生生物画像分類におけるゼロショットおよびフェイワショット一般化をどの程度向上できるか？
• RQ3 長尾クラス分布および画像品質の課題（例：ぼやけ、隠蔽、照明不良）が、実世界でのモデルパフォーマンスにどのように影響するか？
• RQ4 実世界のカメラトラップデータで学習したモデルが、訓練セットに存在しない未確認種に対して妥当なパフォーマンスを達成できるか？
• RQ5 地域特化データで学習したモデルと、外部ドメインデータを活用した地域間一般化を実現するモデルとの間のパフォーマンスギャップはどの程度か？

主な発見

• 標準的なデータ拡張および微調整を用いて Caltech Camera Traps および iNaturalist-Idaho データで学習したベースラインモデルは、IDFG テストセットでマクロ平均F1スコア0.125にとどまった。
• テストセットには、アイダホ州の100か所からなる153,730枚の画像が含まれており、8つのクラス（マウンテンリオン、モールス、オオカミ、クロバーベア、ブロンハーン、エルク、シカ、空）をカバーしており、訓練データの14クラスと一部重複する。
• 訓練データは、場所および種別で不均衡であり、長尾分布を示しており、画像品質やアノテーションスタイルのばらつきにより最大5％のアノテーション誤差を含む。
• iNaturalist データは、本チャレンジのクラス分類体系にマッピングされ、アイダホに実際に生息する可能性のある種に限定された「iNat-Idaho」サブセットが作成された。
• TrapCam-AirSim 合成データセットは、異なる動物種、背景、環境条件を有する多様で現実的なカメラトラップ風の画像を生成するために使用された。
• チャレンジの結果は、現在の最先端モデルが、訓練中に確認されていない新種に直面した場合、地域間一般化において顕著に困難を示していることを示している。