[논문 리뷰] Overview of LifeCLEF Plant Identification task 2019: diving into data deficient tropical countries

Hervé Goëau, Pierre Bonnet외 1명|Agritrop (Cirad)|2025. 09. 23.

Species Distribution and Climate Change참고 문헌 1인용 수 23

한 줄 요약

LifeCLEF 2019 Plant Identification 챌린지는 10k-종 학습 세트와 742-항목 현장 테스트를 사용하여 데이터가 부족한 열대 식물군의 자동 식물 식별을 평가하고, 6개 팀의 26개 DL 시스템을 인간 전문가와 비교했다; 결과는 딥러닝이 전문가에 비해 뒤처지며 열대 식물이 특히 더 어렵다는 것을 보여준다.

ABSTRACT

Automated identification of plants has improved considerably thanks to the recent progress in deep learning and the availability of training data. However, this profusion of data only concerns a few tens of thousands of species, while the planet has nearly 369K. The LifeCLEF 2019 Plant Identification challenge (or "PlantCLEF 2019") was designed to evaluate automated identification on the flora of data deficient regions. It is based on a dataset of 10K species mainly focused on the Guiana shield and the Northern Amazon rainforest, an area known to have one of the greatest diversity of plants and animals in the world. As in the previous edition, a comparison of the performance of the systems evaluated with the best tropical flora experts was carried out. This paper presents the resources and assessments of the challenge, summarizes the approaches and systems employed by the participating research groups, and provides an analysis of the main outcomes.

연구 동기 및 목표

• 열대 지역의 데이터가 부족한 식물 군(Guiana shield와 Northern Amazon)에서 새로운 10k-종 학습 데이터 세트를 사용하여 자동 식물 식별 성능을 평가한다.
• 자동 시스템의 성능을 열대 식물 전문가의 현장 식별 테스트 세트와 비교한다.
• 데이터 품질, 노이즈 영향, 그리고 식물표본 이미지와 같은 데이터 소스가 가져올 수 있는 이득을 분석한다.

제안 방법

• EoL 및 웹 소스에서 노이즈와 중복을 기록하며 10k 종의 학습 세트를 구성한다.
• 평가를 위한 742 현장 식별 관찰의 고품질 테스트 세트를 제공한다.
• Top1, Top3, Top5, MRR 지표를 사용하여 팀당 최대 10회 실행을 평가하고 5명의 전문가 주석과 비교한다.
• 참여 방법을 요약하고 CNN 아키텍처(Inception-ResNet-v2/v4, DenseNet 등)와 데이터 증가(DATA AUGMENTATION)를 강조한다.
• 시스템 성능을 인간 전문가와 비교하고 학습 데이터 양과 노이즈의 영향 분석한다.

Figure 1: Regions of origin of the 10k species selected for PlantCLEF 2019: French Guiana, Suriname, Guyana, Brazil (states of Amapa, Para, Amazonas)

실험 결과

연구 질문

• RQ1 자동 식물 식별이 열대 데이터-부족 식물과 열대 식물 전문가의 성과 차이에 대해 어떤 차이를 보이는가?
• RQ2 학습 데이터 품질과 노이즈(중복, 비식물 이미지, 표본 도면 등)가 DL 성능에 미치는 영향은 무엇인가?
• RQ3 크고 노이즈가 많지만 다양한 데이터로 학습될 때 딥러닝 시스템이 전문가와의 차이를 좁힐 수 있는가?
• RQ4 데이터 증가, 클래스 사전 분포, 추가 학습 데이터(예: GBIF)가 시스템 성능에 어떤 역할을 하는가?
• RQ5 표본 보관 자료(herbarium) 데이터가 데이터-빈곤 열대 지역의 식별을 개선하는 실현 가능한 경로인가?

주요 결과

팀 실행	Top1 전문가	Top1 전체	Top3 전문가	Top5 전문가	Top5 전체	MRR 전문가	MRR 전체
Holmes Run 2	0,316	0,247	0,376	0,419	0,357	0,362	0,298
Holmes Run 3	0,282	0,225	0,359	0,376	0,321	0,329	0,274
Holmes Run 1	0,248	0,222	0,325	0,368	0,325	0,302	0,269
CMP Run 7	0,085	0,078	0,145	0,197	0,168	0,124	0,111
CMP Run 2	0,077	0,061	0,145	0,188	0,162	0,117	0,097
CMP Run 6	0,068	0,057	0,154	0,188	0,163	0,112	0,096
CMP Run 1	0,068	0,069	0,145	0,171	0,158	0,107	0,099
CMP Run 3	0,068	0,066	0,128	0,188	0,156	0,110	0,099
CMP Run 4	0,060	0,053	0,128	0,162	0,160	0,097	0,090
MRIM Run 1	0,043	0,042	0,051	0,060	0,088	0,055	0,063
MRIM Run 8	0,034	0,046	0,068	0,103	0,102	0,057	0,068
MRIM Run 7	0,026	0,042	0,085	0,094	0,096	0,053	0,065
datvo06 Run 1	0,026	0,043	0,051	0,060	0,086	0,041	0,061
CMP Run 5	0,026	0,054	0,085	0,085	0,119	0,050	0,078
MRIM Run 10	0,026	0,034	0,068	0,068	0,085	0,047	0,057
MRIM Run 5	0,017	0,036	0,043	0,077	0,082	0,039	0,058
MRIM Run 3	0,017	0,030	0,060	0,077	0,088	0,043	0,054
MRIM Run 2	0,017	0,036	0,043	0,077	0,082	0,039	0,058
MRIM Run 6	0,017	0,028	0,051	0,077	0,078	0,037	0,049
MRIM Run 9	0,017	0,031	0,043	0,068	0,088	0,039	0,055
MRIM Run 4	0,009	0,027	0,060	0,077	0,077	0,038	0,049
MLRG SSN Run 1	0,000	0,000	0,000	0,000	0,000	0,000	0,000
Leowin Run 1	0,000	0,000	0,000	0,000	0,001	0,000	0,000
MLRG SSN Run 2	0,000	0,000	0,000	0,000	0,000	0,000	0,000
MLRG SSN Run 3	0,000	0,012	0,000	0,009	0,027	0,004	0,021
Leowin Run 2	0,000	0,000	0,000	0,000	0,001	0,000	0,000
Expert 1	0,675	-	0,684	0,684	-	0,679	-
Expert 2	0,598	-	0,607	0,607	-	0,603	-
Expert 3	0,376	-	0,402	0,402	-	0,389	-
Expert 4	0,325	-	0,530	0,530	-	0,425	-
Expert 5	0,154	-	0,154	0,154	-	0,154	-

• DL 시스템은 테스트 세트에서 최고의 열대 식물 전문가보다 현저히 낮은 성능을 보인다(Top1 전문가 최대 0.675; 중앙값 0.376).
• 열대 식물 작업은 온대 식물보다 현저히 어려워 전문가의 상위 성능이 낮고 기계 예측과의 차이가 큼.
• 가장 우수한 자동 시스템도 최고 전문가의 정확도보다 약 절반 수준이며, 전문가와의 Top1 비교에서 약 0.365의 격차가 있다.
• 노이즈와 데이터 품질(중복, 비식물 이미지)이 특히 학습 이미지가 적은 종의 성능에 큰 영향을 미치며, 표본자료(herbarium/도면)의 영향은 확정적이지 않다.
• 표본 자료(GBIF/Herbarium 디지털화)를 포함한 학습 데이터 확장이 잠재적 이득을 보이며, 후속 평가에서 상위 1 정확도 41%를 달성한 보정 제출로 입증된다.
• 보완 분석은 더 많은 학습 이미지가 평균 순위를 일반적으로 향상시키는 반면, 중복의 높은 비율은 결과를 악화시킨다는 것을 보여준다.

Figure 2: Scores between Experts and Machine