[論文レビュー] Out-of-distribution detection algorithms for robust insect classification

Mojdeh Saadati, Aditya Balu+6 more|arXiv (Cornell University)|May 2, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用数 3

ひとこと要約

本論文は、農業分野における深層学習ベースの昆虫分類の信頼性を向上させるために、分布外（OOD）検出アルゴリズム—Maximum Softmax Probability（MSP）、Mahalanobis距離（MAH）、Energy-Based Models（EBM）—を評価している。EBMは、特にデータ不均衡下でも他の手法を上回り、予測の不確実性を避けることで、実運用環境における信頼性を向上させた。

ABSTRACT

Deep learning-based approaches have produced models with good insect classification accuracy; Most of these models are conducive for application in controlled environmental conditions. One of the primary emphasis of researchers is to implement identification and classification models in the real agriculture fields, which is challenging because input images that are wildly out of the distribution (e.g., images like vehicles, animals, humans, or a blurred image of an insect or insect class that is not yet trained on) can produce an incorrect insect classification. Out-of-distribution (OOD) detection algorithms provide an exciting avenue to overcome these challenge as it ensures that a model abstains from making incorrect classification prediction of non-insect and/or untrained insect class images. We generate and evaluate the performance of state-of-the-art OOD algorithms on insect detection classifiers. These algorithms represent a diversity of methods for addressing an OOD problem. Specifically, we focus on extrusive algorithms, i.e., algorithms that wrap around a well-trained classifier without the need for additional co-training. We compared three OOD detection algorithms: (i) Maximum Softmax Probability, which uses the softmax value as a confidence score, (ii) Mahalanobis distance-based algorithm, which uses a generative classification approach; and (iii) Energy-Based algorithm that maps the input data to a scalar value, called energy. We performed an extensive series of evaluations of these OOD algorithms across three performance axes: (a) extit{Base model accuracy}: How does the accuracy of the classifier impact OOD performance? (b) How does the extit{level of dissimilarity to the domain} impact OOD performance? and (c) extit{Data imbalance}: How sensitive is OOD performance to the imbalance in per-class sample size?

研究の動機と目的

• 実世界の農業環境において、非昆虫や未学習の種が含まれる分布外（OOD）入力に直面した際の信頼性の低い昆虫分類の課題に対処すること。
• 200万枚以上の画像を用いて学習された大規模な昆虫分類モデルにおいて、最先端のOOD検出アルゴリズム（MSP、MAH、EBM）のロバストネスを評価すること。
• モデルの精度、OOD入力と学習データとの類似度、データ不均衡の影響がOOD検出性能に与える影響を評価し、農業分野における実用的導入を支援すること。
• データ分布シフトが一般的な現地環境において、信頼性が高く、信頼できる昆虫分類システムを導入するための実務的ガイドラインを提供すること。

提案手法

• iNaturalistを含む多様なソースから得た200万枚以上の画像を用いて、142種の農業的関連昆虫種を対象に深層学習分類器を学習した。
• 3つのOOD検出アルゴリズムを適用した：(1) Maximum Softmax Probability（MSP）—最高のソフトマックス確率を信頼度スコアとして使用；(2) Mahalanobis距離（MAH）—クラス条件付き特徴分布の生成モデルに基づく；(3) Energy-Based Model（EBM）—入力にスカラーのエネルギースコアを割り当てる。
• OOD性能を、ベースモデルの精度、学習データからの入力の類似度、および訓練クラスにおけるデータ不均衡の3軸で評価した。
• 異なるOODデータセット（非昆虫画像、不均衡なクラス分布を含む）におけるOOD検出性能を定量化するために、AUROC（受信器操作特性曲線下の面積）を主な指標とした。
• 実世界の農業データ分布を模擬するために、さまざまなクラス不均衡を有する合成データを生成し、アルゴリズムの感受性を評価した。
• 元のデータセットと同じ分布から一様に抽出した3つのインディスクリプション（ID）サブセット（バランス、不均衡、および同じ分布からの抽出）を用いて、OOD検出性能を比較した。

Figure 1 : Out-of-distribution visualization in insect classification. The OOD classifier tries to define decision boundaries for each insect while ensuring no non-insect images fall into any known insect classes. There is a spectrum of OOD images. Here, we distinguish them as contextually near OOD

実験結果

リサーチクエスチョン

• RQ1 異なるOOD検出アルゴリズムにおいて、ベースモデルの精度とOOD検出性能の相関関係はどのように変化するか？
• RQ2 OOD入力と学習分布との類似度の程度が、OOD検出アルゴリズムの性能に与える影響は何か？
• RQ3 農業分野の昆虫分類の文脈において、訓練データのデータ不均衡に、OOD検出アルゴリズムはどの程度感受性を示すか？
• RQ4 さまざまなレベルのデータ不均衡と入力分布シフトに対して、最もロバストな性能を示すOOD検出アルゴリズムはどれか？

主な発見

• Energy-Based Model（EBM）は、すべての評価条件下で最高のOOD検出性能を達成し、特にデータ不均衡下でも一貫して高いAUROCを示した。
• MSPは優れたOOD検出性能を示し、データ不均衡に対してもロバストであったため、不均一なクラス分布を有する実世界の農業応用に適していることが示された。
• Mahalanobis距離（MAH）アルゴリズムはデータ不均衡に感受性が高く、不均衡データセットでは顕著に性能が低下したため、実運用における主な制限要因であることが明らかになった。
• パrameter数が少ないモデルでは、ベース分類器の精度とOOD検出性能の間に正の相関関係が見られたが、より複雑なモデルではこの相関関係は消失した。
• OOD入力が学習または事前学習データ分布に近い場合、EBMは優れた一般化性能を示し、より高いロバストネスを示した。
• 結果から、OOD検出により、モデルが不確実または分布外の入力に対して予測を控えることができ、自律農業システムにおける信頼性と信頼性の向上が可能であることが示された。

Figure 2 : The analysis process: Box 1 represents the data. We split the ID-distribution data into three sub-datasets that are used for training the insect classifier, training the Mahalanobis distance OOD algorithm, and testing the results. We also utilize four different OOD datasets for testing ou