[论文解读] Feature Recalibration Based Olfactory-Visual Multimodal Model for Enhanced Rice Deterioration Detection

Rongqiang Zhao, Hengrui Hu+3 more|arXiv (Cornell University)|Feb 16, 2026

Smart Agriculture and AI被引用 0

一句话总结

提出一个特征再校准的嗅觉–视觉多模态框架（FDEC + FDRA-Net），利用RGB图像和电子鼻信号检测米粒的细粒度劣化，离线准确率接近完美，现场表现也很强。

ABSTRACT

Multimodal methods are widely used in rice deterioration detection, but they exhibit limited capability in representing and extracting fine-grained abnormal features. Moreover, these methods rely on devices such as hyperspectral cameras and mass spectrometers, which increase detection costs and prolong data acquisition time. To address these issues, we propose a feature recalibration based olfactory-visual multimodal model for enhanced rice deterioration detection. A fine-grained deterioration embedding constructor (FDEC) is proposed to reconstruct the labeled multimodal embedded feature dataset, thereby enhancing sample representation. A fine-grained deterioration recalibration attention network (FDRA-Net) is proposed to emphasize signal variations and improve sensitivity to fine-grained deterioration on the rice surface. Compared with SS-Net, the proposed method improves classification accuracy by 8.67%, with an average improvement of 11.51% over other traditional baseline models, while simultaneously simplifying the detection procedure. Furthermore, field detection results demonstrate advantages in both accuracy and operational simplicity. The proposed method can also be extended to other agrifood applications in agriculture and the food industry.

研究动机与目标

• 通过利用多模态数据（视觉与嗅觉）提升细粒度米粒劣化线索的表征。
• 在保持高检测准确度的同时，降低对昂贵光谱成像设备的依赖。
• 重建与丰富多模态嵌入以提升下游检测的样本表征。
• 开发一个模态感知的注意力机制，突出判别区域与嗅觉通道。
• 在离线与现场（在线）稻米质量评估场景中展示实际可行性。

提出的方法

• 引入FDEC，通过独立处理嗅觉与视觉数据并将其组织成统一嵌入集合来产生结构化的多模态嵌入。
• 应用PLR以增强嗅觉信号，将视觉数据分割成局部补丁，由补丁级卷积嵌入器进行处理。
• 开发FDRA-Net，使用基于SE的通道再校准来关注嗅觉特征，使用CBAM注意力聚焦稀疏的细粒度霉变模式的视觉特征。
• 堆叠多个FDRA层以逐步再校准与融合模态，随后进行线性投影与三分类输出的分类器（过期、发霉、正常）。
• 使用包含八天训练/验证数据的离线数据集进行训练与评估，测试使用一天的数据；并在真实粮仓样本上进行在线现场测试。

实验结果

研究问题

• RQ1 一个以特征再校准驱动的嗅觉–视觉框架是否能在细粒度米粒劣化检测中超过单模态与现有多模态方法？
• RQ2 FDEC嵌入构建是否改善样本表征与下游检测鲁棒性？
• RQ3 SE与CBAM子模块是否在联合检测任务中为嗅觉与视觉模态提供互补收益？
• RQ4 该方法是否能在真实储存环境中用RGB摄像头和廉价的电子鼻实现实际部署？
• RQ5 在线现场条件下模型表现是否优于离线评估？

主要发现

• FDRA-Net在离线测试集上达到99.89%的准确率，霉变为100.00%精确/召回且报告结果为此。
• FDRA-Net在整体准确度与召回方面优于一系列基线（CNN、NAM、ResNet、SENet、SKNet、SS-Net），模型大小约48.7 MB，延迟约9.48 ms。
• 消融实验表明FDEC至关重要，移除后准确率从99.89%降至85.44%；SE与CBAM为嗅觉和视觉特征提供互补增益。
• Grad-CAM分析表明FDRA-Net将注意力聚焦在局部霉变相关区域，而没有FDRA的模型则不同。
• 在线现场测试达到93.33%准确率，在真实条件下对Expired检测略有下降，但仍优于基线。