[論文レビュー] NDD20: A large-scale few-shot dolphin dataset for coarse and fine-grained categorisation

Cameron Trotter, Georgia Atkinson+6 more|arXiv (Cornell University)|May 27, 2020

Marine animal studies overview参考文献 19被引用数 10

ひとこと要約

NDD20 は、上層部および水中のイルカ画像計 2,201 枚と 1,050 枚を含む大規模かつオープンソースのデータセットであり、粗粒度および細粒度のインスタンスセグメンテーションのラベルとして個体レベルの ID と種別ラベルが付与されている。このデータで学習された Mask-RCNN モデルは、上層部および水中データのそれぞれで mAP@IOU[0.5, 0.75] が 0.96 および 0.97 を達成し、保全応用における自動イルカ写真識別の強力なベースラインを確立した。

ABSTRACT

We introduce the Northumberland Dolphin Dataset 2020 (NDD20), a challenging image dataset annotated for both coarse and fine-grained instance segmentation and categorisation. This dataset, the first release of the NDD, was created in response to the rapid expansion of computer vision into conservation research and the production of field-deployable systems suited to extreme environmental conditions -- an area with few open source datasets. NDD20 contains a large collection of above and below water images of two different dolphin species for traditional coarse and fine-grained segmentation. All data contained in NDD20 was obtained via manual collection in the North Sea around the Northumberland coastline, UK. We present experimentation using standard deep learning network architecture trained using NDD20 and report baselines results.

研究の動機と目的

• 保全分野におけるイルカコンピュータビジョンのためのオープンで大規模かつ細粒度のデータセットが不足しているという問題に対処すること。
• 異なる環境条件（上層部および水中）における自動写真識別システムのベンチマーク化を可能にすること。
• 個体識別に特化した独自の模様に基づく、少数ショット学習モデルの開発を支援すること。
• ケタセアン研究における手作業による時間のかかる写真識別に依存するのを減らすこと。
• 生態的コンピュータビジョン分野における深層学習モデルの訓練および評価のための標準化された公開データセットを提供すること。

提案手法

• データセットは、イギリス北シール諸島で実施された水中 36 回および上層部 27 回の調査により収集され、良好な天候および水質条件下で DSLR および GoPro カメラが使用された。
• すべての画像は、VIA 2.0.8 形式を用いて手動でインスタンスセグメンテーションマスクでアノテートされ、オブジェクト（イルカ）、種別（BND, WBD）、個体 ID の階層ラベルが付与された。
• 実際の ID をランダムな数値ラベルに置き換え、すべての EXIF メタデータを削除することで、偽匿名化処理が実施された。
• ResNet-50 バックボーンを MSCOCO で事前学習済みとして使用し、コサイン減衰学習率スケジューリングを用いて、2 つの Mask-RCNN モデルが学習された。
• 上層部および水中の両サブセットについて、80:20 のトレーニング・テスト分割を用い、mAP@IOU[0.5, 0.75] を用いてモデルの評価が行われた。
• 水中画像には「ピントが合っていない」フラグが含まれており、現実の画像品質の課題を反映している。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、自然な海洋環境下の上層部および水中のイルカ画像において、インスタンスセグメンテーションで高い正確性を達成できるか？
• RQ2 画像品質および環境条件（例：水の透明度、屈折）が、水中と上層部の設定におけるモデル性能にどのように影響するか？
• RQ3 個体 ID クラスの少数ショット性が、モデルの汎化性能および性能にどの程度影響を及えるか？
• RQ4 このデータセットは、種別および個体識別を目的とした細粒度分類モデルのベンチマーク化を可能にするか？
• RQ5 イルカのポーズの違いや部分的可視性の変化が、異なるデータモダリティ間でのセグメンテーション精度にどのように影響するか？

主な発見

• 上層部画像で学習した Mask-RCNN モデルは、mAP@IOU[0.5, 0.75] が 0.96 を達成し、データセットの視覚的課題にもかかわらず強力な性能を示した。
• 水中画像で学習したモデルは、mAP@IOU[0.5, 0.75] がわずかに高い 0.97 を達成し、水中データのマスク品質や特徴の可視性の面で一貫性がある可能性を示唆した。
• 水中データの高い mAP は、環境ノイズが大きくても、より一貫した体の向きや水中でより豊富に見えるテクスチャ特徴に起因している可能性がある。
• 個体 ID の分布は長尾分布を示しており、一部の ID はたった一度または二度しか出現しないため、現実的な少数ショット学習の課題が生じている。
• 水中サブセットに「ピントが合っていない」フラグが存在することは、画像品質がモデルの信頼性に大きな要因であることを裏付けている。
• これらの結果は、今後の細粒度イルカ認識、特に種別および個体分類タスクにおける強力なベースラインを確立した。