[論文レビュー] The iWildCam 2018 Challenge Dataset

Sara Beery, Grant Van Horn+2 more|arXiv (Cornell University)|Apr 11, 2019

Context-Aware Activity Recognition Systems参考文献 15被引用数 26

ひとこと要約

iWildCam 2018 Challenge Dataset は、アメリカ南西部の143か所から収集された292,732枚の画像を含む大規模かつ現実世界のカメラトラップデータセットを提供し、深層学習モデルの新規環境への一般化性能を評価することを目的としている。このデータセットにより、ある場所のセットで学習したモデルを、未確認の場所でテストするベンチマークが可能となり、データ拡張とマルチスケール学習を用いたVGG16モデルのアンサンブルにより、バリデーション精度93.431%が達成された。

ABSTRACT

Camera traps are a valuable tool for studying biodiversity, but research using this data is limited by the speed of human annotation. With the vast amounts of data now available it is imperative that we develop automatic solutions for annotating camera trap data in order to allow this research to scale. A promising approach is based on deep networks trained on human-annotated images. We provide a challenge dataset to explore whether such solutions generalize to novel locations, since systems that are trained once and may be deployed to operate automatically in new locations would be most useful.

研究の動機と目的

• カメラトラップ画像の手動アノテーションに要する時間が長時間にわたるという、生物多様性研究におけるスケーラビリティのボトル neck を解決すること。
• ある一連のカメラトラップ場所で学習した深層学習モデルが、微調整なしに完全に新しい未確認の場所へ一般化できるかどうかを評価すること。
• 悪光源、ブレ、隠蔽、動物のサイズや視点のばらつきといった現実世界の課題を反映した標準化されたベンチマークデータセットを構築すること。
• 野生生物画像認識におけるドメイン一般化、少数ショット学習、長尾クラス分布に関する研究を可能にすること。
• 今後の拡張の基盤を築くこと。これには、個体種別アノテーション、バウンディングボックス、画像シーケンスが含まれる。

提案手法

• データセットは、アメリカ南西部の143か所のカメラトラップから収集された292,732枚の画像から構成され、各画像は動物を含むか空であるかのラベルが付与されている。
• データは149,359枚の学習データ、17,784枚のバリデーションデータ、125,589枚のテストデータに分割されており、学習およびバリデーションデータは70か所の場所から、テストデータは68か所の新しい未確認の場所から構成されている。
• ベースラインモデルとして、ImageNetで微調整されたInceptionV3を用い、RMSPropとデータ拡張（ランダムクロッピング、水平反転、色の歪み）を用いて学習したところ、テスト精度は74.1%に達した。
• iWildCam Challenge 2018 はKaggleベースのコンペティション形式を採用し、10チームが参加。Adam最適化法を用いてスクラッチから訓練されたVGG16モデルのアンサンブルが採用され、マルチスケールデータ拡張（入力サイズ50–150px）が適用された。
• モデルの耐性を高めるために、水平反転とランダムブラーを用いていた。
• 優勝手法は、異なる入力解像度で構成される5つのVGG16モデルのアンサンブルを用い、プライベートテストセットで93.431%の精度を達成した。

実験結果

リサーチクエスチョン

• RQ1 ある一連のカメラトラップ場所で学習した深層学習モデルは、微調整なしに完全に新しい未確認の場所へ効果的に一般化できるか？
• RQ2 モーションブレ、隠蔽、照明不良、小サイズの物体といった一般的な不快要因が、野生生物画像認識におけるモデル性能にどのように影響を与えるか？
• RQ3 実世界のカメラトラップ配備による長尾で不均衡なデータセットにおいて、データ拡張とマルチスケール学習が一般化性能をどの程度向上させるか？
• RQ4 ドメイン適応は、モデルの予測と特定のカメラ場所との間の誤った相関関係を低減するのを助けるか？
• RQ5 極めて不均衡なクラス分布と固有の種の組成を示す場所において、モデルの性能はどのように変動するか？

主な発見

• iWildCam Challenge 2018 の優勝モデルは、テスト精度93.431%を達成し、ベースラインのInceptionV3モデル（74.1%）を大きく上回った。
• データ拡張とマルチスケール入力を利用し、スクラッチから訓練されたVGG16モデルのアンサンブルは、ResNet、DenseNet、GoogLeNetといった他のアーキテクチャを上回った。
• ランダムな水平反転やブラーといったデータ拡張技術は、モーションブレーや照明変動といった現実世界の画像アーチファクトに対する耐性を高める上で不可欠であった。
• アンサンブルにおける複数の入力解像度（50–150px）の使用は、多様な画像条件におけるモデルの一般化性能を向上させた。
• 場所固有のバイアスを除去することを目的としたドメイン適応技術は性能向上に寄与しなかった。これは、モデルのインダクティブバイアスとデータ拡張が一般化により効果的であることを示唆している。
• このデータセットは長尾クラス分布を示しており、各場所における画像枚数と種の組成に顕著なばらつきが見られ、現実世界のデータの不均衡さと多様性を反映している。