[論文レビュー] Robust Re-identification of Manta Rays from Natural Markings by Learning Pose Invariant Embeddings

Olga Moskvyak, Frédéric Maire+3 more|arXiv (Cornell University)|Feb 28, 2019

Identification and Quantification in Food被引用数 11

ひとこと要約

本論文では、自然な模様を用いてマントアザラシおよびマッコウクジラの視覚的再同定を、ポーズや照度に依存しない埋め込みを学習する深層学習ベースのシステムとして提示している。畳み込みニューラルネットワーク（CNN）に三重損失関数とオンラインのセミハードマイニングを適用することで、同一個体の埋め込みが異なる個体のものよりも近くなるように学習が行われる。この手法は、実用的基準を満たすために必要な95％以上のトップ10正答率を達成しており、種間および変動する画像条件に対しても一般化可能である。

ABSTRACT

Visual identification of individual animals that bear unique natural body markings is an important task in wildlife conservation. The photo databases of animal markings grow larger and each new observation has to be matched against thousands of images. Existing photo-identification solutions have constraints on image quality and appearance of the pattern of interest in the image. These constraints limit the use of photos from citizen scientists. We present a novel system for visual re-identification based on unique natural markings that is robust to occlusions, viewpoint and illumination changes. We adapt methods developed for face re-identification and implement a deep convolutional neural network (CNN) to learn embeddings for images of natural markings. The distance between the learned embedding points provides a dissimilarity measure between the corresponding input images. The network is optimized using the triplet loss function and the online semi-hard triplet mining strategy. The proposed re-identification method is generic and not species specific. We evaluate the proposed system on image databases of manta ray belly patterns and humpback whale flukes. To be of practical value and adopted by marine biologists, a re-identification system needs to have a top-10 accuracy of at least 95%. The proposed system achieves this performance standard.

研究の動機と目的

• 市民科学者から提供される低品質で条件がばらつきのある画像を用いても利用可能な、自然な模様に基づく個体の再同定を自動的かつ堅牢に行えるシステムの開発。
• 手動での画像アライメントや高画質、特定の視点を必要とする既存のシステムの限界を克服すること。
• モデルの再トレーニングを必要とせず、データベースに新しい個体を追加できる汎用的で非再トレーニング型のソリューションの構築。
• 野生生物の保護分野における実用的性能基準を満たすこと、具体的には少なくとも95％のトップ10正答率を達成すること。

提案手法

• InceptionV3に基づく深層畳み込みニューラルネットワーク（CNN）を、ポーズ、照度、視点の変化に対して不変な埋め込みを学習できるようにトレーニングする。
• 同じ個体の埋め込みが異なる個体のものよりも近くなるように保証するため、オンラインのセミハードマイニングを用いた三重損失関数でネットワークを最適化する。
• 幾何的変化に対して一般化性と耐性を高めるために、トレーニング中に全回転および反転を含む広範なデータ拡張を実施する。
• ユーザーは、関心領域（例：マントアザラシの腹面やクジラの尾びれ）を手動でバウンディングボックスで囲む必要があるが、その後ネットワークが切り取られた画像を処理する。
• 学習された埋め込み間の類似度は、L2距離によって測定され、埋め込み空間における効率的なマッチングを可能にする。
• t-SNE可視化を用いて学習された表現を分析し、ポーズや遮蔽の変化があっても同じ個体の埋め込みがクラスタリングされていることを確認する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、マントアザラシおよびマッコウクジラの自然な模様に対して、ポーズおよび照度に依存しない埋め込みを学習できるか？
• RQ2 データ拡張は、変動する画像条件下での再同定システムの耐性および正答率にどのように影響するか？
• RQ3 1人あたりのトレーニング画像枚数が、システムのトップ1正答率に与える影響は何か？
• RQ4 再トレーニングなしで、新しい個体への一般化はどの程度可能か？
• RQ5 学習された埋め込みは、異なる視点や部分的遮蔽の下でも類似性をどのように保持するか？

主な発見

• データベースに1人あたり少なくとも3枚の画像が存在する場合、トップ10正答率が98％に達し、実用的保護用途に必要な95％のしきい値を上回っている。
• 1枚の画像でトップ1正答率は45％から、5枚に増やすと81％に上昇し、同一識別子の複数のトレーニング例の重要性が示された。
• データ拡張を減らすと性能が著しく低下する—回転と反転を除外するとトップ1正答率が64％から54％に低下する—これは、不変性を学習する上でこれらの手法の重要性を裏付けている。
• t-SNE可視化により、異なる視点やわずかな遮蔽があっても、同じマントアザラシやクジラの埋め込みが一集団にクラスタリングされていることが確認され、効果的な特徴学習が行われていることが示された。
• システムは種を超えて一般化可能である：マントアザラシの腹面模様とマッコウクジラの尾びれ模様の両方で良好な性能を示しており、汎用的かつ種に依存しない設計であることが確認された。
• 誤ったマッチングの主な原因は、類似した模様やコントラストが低い模様（例：黒い点がまばらなものや完全に黒い尾びれ）であり、これらは識別が難しい。