[논문 리뷰] Out-of-distribution detection algorithms for robust insect classification

Mojdeh Saadati, Aditya Balu외 6명|arXiv (Cornell University)|2023. 05. 02.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 논문은 농업 적용을 위한 딥러닝 기반 곤충 분류에서 분포 외(In-Distribution, OOD) 입력에 대한 탐지 알고리즘—최대 소프트맥스 확률(MSP), 마할라노비스 거리(MAH), 에너지 기반 모델(EBM)—을 평가하여 모델의 견고성을 향상시키는 것을 목적으로 한다. EBM는 특히 데이터 불균형 상황에서 다른 알고리즘들을 능가했으며, 불확실한 예측을 회피함으로써 실제 현장 적용에서의 신뢰도를 높였다.

ABSTRACT

Deep learning-based approaches have produced models with good insect classification accuracy; Most of these models are conducive for application in controlled environmental conditions. One of the primary emphasis of researchers is to implement identification and classification models in the real agriculture fields, which is challenging because input images that are wildly out of the distribution (e.g., images like vehicles, animals, humans, or a blurred image of an insect or insect class that is not yet trained on) can produce an incorrect insect classification. Out-of-distribution (OOD) detection algorithms provide an exciting avenue to overcome these challenge as it ensures that a model abstains from making incorrect classification prediction of non-insect and/or untrained insect class images. We generate and evaluate the performance of state-of-the-art OOD algorithms on insect detection classifiers. These algorithms represent a diversity of methods for addressing an OOD problem. Specifically, we focus on extrusive algorithms, i.e., algorithms that wrap around a well-trained classifier without the need for additional co-training. We compared three OOD detection algorithms: (i) Maximum Softmax Probability, which uses the softmax value as a confidence score, (ii) Mahalanobis distance-based algorithm, which uses a generative classification approach; and (iii) Energy-Based algorithm that maps the input data to a scalar value, called energy. We performed an extensive series of evaluations of these OOD algorithms across three performance axes: (a) extit{Base model accuracy}: How does the accuracy of the classifier impact OOD performance? (b) How does the extit{level of dissimilarity to the domain} impact OOD performance? and (c) extit{Data imbalance}: How sensitive is OOD performance to the imbalance in per-class sample size?

연구 동기 및 목표

• 실제 농업 환경에서 비곤충 또는 훈련되지 않은 종과 같은 분포 외(OOD) 입력을 만났을 때 신뢰할 수 없는 곤충 분류 문제를 해결한다.
• 200만张 이상의 이미지로 훈련된 대규모 곤충 분류 모델에서 최신 OOD 탐지 알고리즘—MSP, MAH, EBM—의 견고성을 평가한다.
• 모델 정확도, OOD 입력과 훈련 데이터 간의 유사도, 데이터 불균형이 OOD 탐지 성능에 미치는 영향을 평가하여 농업 현장에서의 실용적 구현을 안내한다.
• 데이터 분포 이탈이 흔한 현장 조건에서 신뢰할 수 있고 신뢰도가 높은 곤충 분류 시스템을 구현하기 위한 실질적인 지침을 제공한다.

제안 방법

• iNaturalist를 포함한 다양한 출처에서 확보한 200만 장 이상의 이미지를 활용해, 142종의 농업적으로 관련성이 있는 곤충 종을 대상으로 딥러닝 분류기 모델을 훈련시켰다.
• 세 가지 OOD 탐지 알고리즘을 적용했다: (1) 최대 소프트맥스 확률(MSP), 최고의 소프트맥스 확률을 신뢰도 점수로 사용; (2) 마할라노비스 거리(MAH), 클래스 조건부 특징 분포의 생성 모델 기반; (3) 에너지 기반 모델(EBM), 입력에 대해 스칼라 에너지 점수를 할당.
• 세 가지 축을 기준으로 OOD 성능을 평가했다: 기본 모델 정확도, 훈련 데이터와의 입력 유사도 수준, 훈련 클래스의 데이터 불균형 정도.
• 다양한 OOD 데이터셋(비곤충 이미지, 불균형 클래스 분포 포함)에서 OOD 탐지 성능를 정량화하기 위해 AUROC(Receiver Operating Characteristic 곡선 아래 면적)를 주요 평가 지표로 사용.
• 실제 농업 데이터 분포를 시뮬레이션하기 위해 다양한 클래스 불균형을 가진 합성 데이터를 생성하여 알고리즘의 민감도를 평가.
• 원본 데이터셋과 동일한 분포에서 균일하게 샘플링한 세 가지 내재분포(ID) 서브셋—균형, 불균형, 원래 분포에서 추출된 균일 샘플—을 대상으로 OOD 탐지 성능를 비교.

Figure 1 : Out-of-distribution visualization in insect classification. The OOD classifier tries to define decision boundaries for each insect while ensuring no non-insect images fall into any known insect classes. There is a spectrum of OOD images. Here, we distinguish them as contextually near OOD

실험 결과

연구 질문

• RQ1 다양한 OOD 탐지 알고리즘에서 기본 모델 정확도와 OOD 탐지 성능 간의 상관관계는 어떻게 되는가?
• RQ2 OOD 입력과 훈련 분포 간의 유사도 정도가 OOD 탐지 알고리즘 성능에 어떤 영향을 미치는가?
• RQ3 특히 농업 곤충 분류 맥락에서, OOD 탐지 알고리즘은 훈련 데이터의 불균형에 얼마나 민감한가?
• RQ4 다양한 수준의 데이터 불균형과 입력 분포 이탈 상황에서 가장 견고한 성능를 보이는 OOD 탐지 알고리즘은 무엇인가?

주요 결과

• 에너지 기반 모델(EBM)은 모든 평가 조건에서 높은 AUROC를 지속적으로 기록하여 가장 뛰어난 OOD 탐지 성능를 보였다. 특히 데이터 불균형 상황에서 두각을 나타냈다.
• MSP는 강력한 OOD 탐지 성능를 보였으며, 데이터 불균형에 뛰어난 내성성을 보여, 불균형한 클래스 분포를 가진 실제 농업 응용에 적합함을 시사했다.
• 마할라노비스 거리(MAH) 알고리즘은 데이터 불균형에 매우 민감하여 불균형 데이터셋에서 성능이著しく 악화되었으며, 실질적 구현에서의 주요 한계를 드러냈다.
• 파rameter 수가 적은 모델에서는 기본 분류기 정확도와 OOD 탐지 성능 간에 정적 상관관계가 있었지만, 더 복잡한 모델에서는 이러한 상관관계가 사라졌다.
• OOD 입력이 훈련 또는 미사전학습 데이터 분포와 유사할 경우 EBM가 더 뛰어난 견고성을 보였으며, 현실적인 분포 이탈 상황에서도 더 나은 일반화 능력을 가짐을 시사했다.
• 결과는 OOD 탐지 기술이 모델이 불확실하거나 분포 외 입력에 대해 예측을 회피하도록 해, 자율 농업 시스템의 신뢰성과 신뢰도를 향상시킬 수 있음을 시사한다.

Figure 2 : The analysis process: Box 1 represents the data. We split the ID-distribution data into three sub-datasets that are used for training the insect classifier, training the Mahalanobis distance OOD algorithm, and testing the results. We also utilize four different OOD datasets for testing ou