[论文解读] Explaining hyperspectral imaging based plant disease identification: 3D CNN and saliency maps

Koushik Nagasubramanian, Sarah E. Jones+4 more|arXiv (Cornell University)|Apr 24, 2018

Smart Agriculture and AI参考文献 12被引用 36

一句话总结

本研究提出一种结合显著性图可视化技术的3D卷积神经网络（3D-CNN），用于解释高光谱成像数据，以识别大豆炭疽病。该模型实现了95.73%的分类准确率，并识别出733 nm（近红外波段）为最敏感波长，通过提供与生理意义相符的疾病检测线索解释，增强了模型的可信度。

ABSTRACT

Our overarching goal is to develop an accurate and explainable model for plant disease identification using hyperspectral data. Charcoal rot is a soil borne fungal disease that affects the yield of soybean crops worldwide. Hyperspectral images were captured at 240 different wavelengths in the range of 383 - 1032 nm. We developed a 3D Convolutional Neural Network model for soybean charcoal rot disease identification. Our model has classification accuracy of 95.73\% and an infected class F1 score of 0.87. We infer the trained model using saliency map and visualize the most sensitive pixel locations that enable classification. The sensitivity of individual wavelengths for classification was also determined using the saliency map visualization. We identify the most sensitive wavelength as 733 nm using the saliency map visualization. Since the most sensitive wavelength is in the Near Infrared Region(700 - 1000 nm) of the electromagnetic spectrum, which is also the commonly used spectrum region for determining the vegetation health of the plant, we were more confident in the predictions using our model.

研究动机与目标

• 开发一种基于高光谱成像数据的准确且可解释的深度学习模型，用于植物病害识别。
• 通过实现客观、可扩展且可重复的检测方法，解决植物病害普查中主观人工视觉评分的局限性。
• 利用可解释性技术识别对疾病分类有重要贡献的最敏感高光谱波长。
• 提供模型预测的生理学上具有意义的解释，以增强对分类结果的信心。
• 通过波长重要性分析，支持未来多光谱成像系统的设计。

提出的方法

• 在覆盖240个波长（383–1032 nm）的高光谱图像上训练3D-CNN模型，用于将大豆茎秆分类为健康或感染炭疽病。
• 使用基于梯度的可视化方法生成显著性图，以识别在分类决策中最具影响力的像素位置。
• 计算最大预测类别得分相对于输入图像的梯度，以确定所有波长下像素级别的敏感性。
• 对于每个像素，通过公式 $ C^* = \text{argmax}_C |W_{g(x,y,C)}| $ 确定具有最高显著性梯度幅值的高光谱波长作为最敏感通道。
• 对测试图像中所有像素的 $ C^* $ 进行直方图分析，量化各波长在分类中的相对重要性。
• 生成特定波长的显著性可视化图，以展示各光谱带对模型预测的敏感性。

实验结果

研究问题

• RQ1 哪些高光谱波长对大豆炭疽病的准确分类最为关键？
• RQ2 如何利用显著性图解释和阐明3D-CNN模型在高光谱植物病害数据上的决策过程？
• RQ3 模型预测在多大程度上与已知的植物健康生理指标（如近红外反射率）一致？
• RQ4 基于显著性的分析能否通过揭示生物上合理的特征来提高对模型预测的信心？
• RQ5 光谱带对健康与感染大豆茎秆样本的敏感性有何差异？

主要发现

• 3D-CNN模型在分类任务中达到95.73%的准确率，感染类别的F1得分为0.87。
• 对疾病分类最敏感的波长被确定为733 nm，位于近红外波段（700–1000 nm）。
• 测试数据中33%的像素位置其最大显著性梯度幅值位于703–744 nm范围内，表明该光谱带组具有高度集体重要性。
• 可见光区域波长（400–700 nm）在感染样本中的敏感性高于健康样本，表明疾病进展导致光谱特性发生变化。
• 显著性图可视化清晰地将严重感染（红褐色）区域标记为分类中最敏感的区域，证实模型聚焦于病害组织。
• 基于显著性的分析提供了具有生理学可解释性的解释，通过将结果与已知的植物健康指标关联，增强了对模型预测结果的信心。