[論文レビュー] The iNaturalist Challenge 2017 Dataset

Grant Van Horn, Oisin Mac Aodha+5 more|arXiv (Cornell University)|Jul 20, 2017

Digital Imaging for Blood Diseases参考文献 30被引用数 49

ひとこと要約

iNaturalist Challenge 2017 データセットは、5,000種以上の植物・動物種にわたる675,000枚の画像を含む大規模で現実世界を反映した画像分類ベンチマークを導入しており、極端なクラス不均衡、種間の視覚的類似性、多様な画像状態を強調している。最先端のアンサンブルを用いないモデルではトップ1正解率が64%にとどまり、このデータセットの難易度と、耐障害性に優れた現実世界向けのコンピュータビジョンシステムの発展に寄与する価値が浮き彫りになっている。

ABSTRACT

Existing image classification datasets used in computer vision tend to have an even number of images for each object category. In contrast, the natural world is heavily imbalanced, as some species are more abundant and easier to photograph than others. To encourage further progress in challenging real world conditions we present the iNaturalist Challenge 2017 dataset - an image classification benchmark consisting of 675,000 images with over 5,000 different species of plants and animals. It features many visually similar species, captured in a wide variety of situations, from all over the world. Images were collected with different camera types, have varying image quality, have been verified by multiple citizen scientists, and feature a large class imbalance. We discuss the collection of the dataset and present baseline results for state-of-the-art computer vision classification models. Results show that current non-ensemble based methods achieve only 64% top one classification accuracy, illustrating the difficulty of the dataset. Finally, we report results from a competition that was held with the data.

研究の動機と目的

• 既存のコンピュータビジョンデータセットがクラス分布のバランスを仮定している点の制限を是正すること。これは現実世界の生態学的データとは一致しない。
• 現実世界の極端なクラス不均衡と視覚的変動を反映した大規模で現実的な画像分類ベンチマークを構築すること。
• 世界中の市民科学者の貢献によって収集された多様で低品質で視覚的に類似した画像を用いて、最先端のモデルを挑戦すること。
• 画像品質やカメラタイプの変動を含む現実世界の条件下で、ディープラーニングモデルの耐障害性を評価すること。
• ロングテールおよび細分化視覚認識分野における研究を促進するための標準化されたベンチマークを提供すること。

提案手法

• データセットは、iNaturalistプラットフォームを通じて市民科学者から寄稿された画像から構築され、現実世界の多様性と世界的な地理的カバレッジを確保した。
• 複数のユーザーによる確認作業を通じて、種の正確性を保証し、誤標識データによるノイズを低減した。
• データセットには5,000種以上にわたる500,000枚の画像が含まれており、一般的な種に偏った極めて歪んだクラス分布が特徴である。
• さまざまなカメラタイプと多様な環境条件下で画像が収集されたため、画像品質や照明条件にばらつきが生じた。
• 標準的な訓練/検証/テスト分割が用意されており、評価はテストセットにおけるトップ1およびトップ5正解率に基づいている。
• ベースラインモデルは、現実的な制約下での性能を評価するために、アンサンブル手法を用いない標準的な畳み込みニューラルネットワーク（CNN）で訓練された。

実験結果

リサーチクエスチョン

• RQ1 大規模でロングテール型、現実世界のデータセットにおいて、視覚的に類似したクラスを有する最先端のアンサンブルを用いない画像分類モデルの性能はいかほどか？
• RQ2 現実世界のデータセットにおけるクラス不均衡が、標準的なディープラーニングモデルの性能にどの程度悪影響を及えるか？
• RQ3 画像品質の変動、カメラタイプ、環境条件の違いが、細分化種の識別におけるモデルの汎化性能に与える影響は？
• RQ4 極端なロングテール分布を持つデータセットにおいて、1つのモデルが一般的な種とレアな種の両方で高い正解率を達成できるか？
• RQ5 現実世界の制約を伴う標準化されたベンチマーク上で、コンペティション主導のイノベーションによってどの程度の性能向上が達成できるか？

主な発見

• アンサンブルを用いない最先端のモデルは、iNaturalist Challenge 2017 データセットでトップ1正解率が64%にとどまり、さらなる改善の余地が大きいことが示された。
• データセットの極端なクラス不均衡はモデル性能に深刻な影響を及ぼしており、特にレアな種では一貫して予測が不足している。
• 種間の視覚的類似性は、高度なモデルですら細分化分類の難易度を著しく上昇させる要因となった。
• 画像品質のばらつきや多様なカメラタイプがノイズやアーティファクトを引き起こし、モデルの汎化性能に悪影響を及えた。
• コンペティションの結果から、アンサンブル手法やデータ拡張戦略が性能向上に顕著に寄与したが、トップモデルですらレアクラスの識別に苦戦した。
• ベンチマークから、現在のモデルは現実世界のデータ分布に対して耐障害性に欠けていることが明らかになった。これにより、より優れたロングテール学習技術の開発が急務であることが示された。