[論文レビュー] Plant identification based on noisy web data: the amazing performance of deep learning (LifeCLEF 2017)

Hervé Goëau, Pierre Bonnet+1 more|ArXiv.org|Sep 25, 2025

Smart Agriculture and AI参考文献 6被引用数 55

ひとこと要約

要約: 論文は trusted (EOL) とノイズの多いウェブデータを用いた LifeCLEF 2017 の植物識別を分析し、ノイズデータで訓練したCNNが非常に高い性能を発揮し、アンサンブルが単一モデルを上回ることを示しています。

ABSTRACT

The 2017-th edition of the LifeCLEF plant identification challenge is an important milestone towards automated plant identification systems working at the scale of continental floras with 10.000 plant species living mainly in Europe and North America illustrated by a total of 1.1M images. Nowadays, such ambitious systems are enabled thanks to the conjunction of the dazzling recent progress in image classification with deep learning and several outstanding international initiatives, such as the Encyclopedia of Life (EOL), aggregating the visual knowledge on plant species coming from the main national botany institutes. However, despite all these efforts the majority of the plant species still remain without pictures or are poorly illustrated. Outside the institutional channels, a much larger number of plant pictures are available and spread on the web through botanist blogs, plant lovers web-pages, image hosting websites and on-line plant retailers. The LifeCLEF 2017 plant challenge presented in this paper aimed at evaluating to what extent a large noisy training dataset collected through the web and containing a lot of labelling errors can compete with a smaller but trusted training dataset checked by experts. To fairly compare both training strategies, the test dataset was created from a third data source, i.e. the Pl@ntNet mobile application that collects millions of plant image queries all over the world. This paper presents more precisely the resources and assessments of the challenge, summarizes the approaches and systems employed by the participating research groups, and provides an analysis of the main outcomes.

研究の動機と目的

• ノイズの多いウェブデータが大規模な植物識別で信頼された専門家ラベルデータと同等以上を達成できるか評価する。
• CNNベースの手法を、信頼データとノイズデータの両方を訓練セットとする10K種の植物データセットで評価する。
• データ品質とモデルの複雑さの関係を理解するため、トレーニング戦略とアーキテクチャを比較する。

提案手法

• 3つのデータセットを構築する：EOL10K（信頼、256,287枚）、Web10K（ノイズが多い、1.1M枚）、およびPl@ntNetのテストセット。
• グループあたり最大4回の試行を、ゼロから訓練したCNNまたはファインチューニング済みCNNを用いて評価し、アンサンブルとデータ拡張を含む。
• Pl@ntNetのテストセットに対して主評価指標としてMean Reciprocal Rank (MRR) を用いる。
• さまざまなアーキテクチャ（GoogLeNet/Inception系、ResNet系、VGGNet、AlexNet）と訓練の工夫（バッグギング、ImageNetでの事前訓練、ブートストラッピング、ノイズデータのフィルタリング）を試す。
• 組織別のテストサブセットや長尾種分布にわたる結果を分析し、頑健性と生物多様性にやさしい性能を評価する。
• 大規模なリアルタイムアプリでのデプロイを想定した知識蒸留など、効率化の可能性について議論する。

実験結果

リサーチクエスチョン

• RQ1 非常に大規模でノイズの多いウェブ学習CNNが、大規模な植物識別において信頼データと競合する性能を達成できるか。
• RQ2 アンサンブル法とデータ拡張は、Web10Kのラベルノイズとクラス不均衡を補えるか。
• RQ3 トレーニングデータの出所（信頼 vs ノイズ）によるMRRへの影響は、植物の器官別および長尾種でどう現れるか。
• RQ4 ノイズ付きラベルのフィルタリングは最終性能に有益か、それとも害になるか。

主な発見

Run	Method	Training	MRR	Top1	Top5
Mario TSA Berlin Run4	Average of many fine-tuned NNs	EOL, WEB	0.92	0.885	0.962
Mario TSA Berlin Run2	Average of 6 fine-tuned NNs	EOL, WEB, PlantCLEF2016	0.915	0.877	0.960
Mario TSA Berlin Run3	Average of 3 fine-tuned NNs	EOL, PlantCLEF2016	0.894	0.857	0.940
KDE TUT Run4	ResNet50 (modified)	EOL, WEB	0.853	0.793	0.927
Mario TSA Berlin Run3	Average of 3 fine-tuned NNs	EOL, PlantCLEF2016	0.847	0.794	0.911
CMP Run1	Inception-ResNet-v2	EOL, filtered WEB	0.843	0.786	0.913
KDE TUT Run3	ResNet50 (modified)	EOL, WEB	0.837	0.769	0.922
CMP Run3	Inception-ResNet-v2	EOL	0.807	0.741	0.887
FHDO BCSG Run2	Inception-ResNet-v2	EOL, filtered WEB	0.806	0.738	0.893
FHDO BCSG Run3	Inception-ResNet-v2	EOL, filtered WEB	0.804	0.736	0.891
UM Run2	VGGNet	WEB	0.799	0.726	0.888
UM Run3	VGGNet multi-organ	EOL, WEB	0.798	0.727	0.886
FHDO BCSG Run1	Inception-ResNet-v2	EOL	0.792	0.723	0.878
UM Run4	UM Run1&2 max voting	EOL, WEB	0.789	0.715	0.882
KDE TUT Run1	ResNet50 (modified)	EOL	0.722	0.707	0.850
CMP Run2	Inception-ResNet-v2	EOL, filtered WEB	0.765	0.680	0.870
CMP Run4	Inception-ResNet-v2	EOL	0.733	0.641	0.849
UM Run1	VGGNet multi-organ	EOL	0.700	0.621	0.795
SabanciU GebzeTU Run4	VGGNets	EOL, filtered WEB	0.638	0.557	0.738
SabanciU GebzeTU Run1	VGGNets	EOL, filtered WEB	0.636	0.556	0.737
SabanciU GebzeTU Run3	VGGNets	EOL, filtered WEB	0.622	0.537	0.728
PlantNet Run1	Inception v1	EOL	0.613	0.513	0.734
SabanciU GebzeTU Run2	VGGNets	EOL	0.581	0.508	0.680
UPB HES SO Run3	AlexNet	EOL	0.361	0.293	0.442
UPB HES SO Run4	AlexNet	EOL	0.361	0.293	0.442
UPB HES SO Run1	AlexNet	EOL	0.326	0.260	0.406
UPB HES SO Run2	AlexNet	EOL	0.305	0.239	0.383
FHDO BCSG Run4	Inception v4	PlantCLEF2016, WEB	0	0	0

• CNNベースのシステムは中位MRRが約0.8、最大で0.92という高い性能を達成する。
• 信頼データのみまたはノイズデータのみのデータソースより、信頼データとノイズデータの双方を使ったアンサンブルが最良の結果を生む。
• ノイズデータのみで訓練したいくつかの試行は、信頼データのみの方法よりも良好な結果を出し、データの多様性の価値を示す。
• ノイズデータのフィルタリングは、ノイズのない全データを使用する場合に比べて性能を低下させることが多い。
• アンサンブル（例：Mario TSA Berlin Run 4 の60モデル分布）は単一モデルを上回り、新しいアーキテクチャ（Inception-ResNet-v2, Inception-v4）は、バッグギングとデータ拡張と組み合わせるとさらなる利得を生む。
• データ拡張とブートストラッピングは、ラベルノイズとクラス不均衡がある状況で高精度を達成する鍵である。
• トップの結果は単一のアーキテクチャだけに依存せず、複数のCNNと訓練戦略を組み合わせることが最も良い性能を生む。
• ノイズデータでの訓練は正則化の一形態として、生物多様性情報学の文脈における一般化を高めることを示唆している。
• 最新のアンサンブル手法は計算コストが高く、デプロイのための知識蒸留の検討を促す。