[논문 리뷰] Feature Recalibration Based Olfactory-Visual Multimodal Model for Enhanced Rice Deterioration Detection

Rongqiang Zhao, Hengrui Hu외 3명|arXiv (Cornell University)|2026. 02. 16.

Smart Agriculture and AI인용 수 0

한 줄 요약

RGB 이미지와 e-nose 신호를 이용해 미세한 쌀 악화 현상을 감지하기 위한 특징 재조정 기반의 후각‑시각 다중모달 프레임워크(FDEC + FDRA-Net)를 제안하고, 오프라인에서 거의 완벽에 가까운 정확도와 강력한 현장 성능을 달성한다.

ABSTRACT

Multimodal methods are widely used in rice deterioration detection, but they exhibit limited capability in representing and extracting fine-grained abnormal features. Moreover, these methods rely on devices such as hyperspectral cameras and mass spectrometers, which increase detection costs and prolong data acquisition time. To address these issues, we propose a feature recalibration based olfactory-visual multimodal model for enhanced rice deterioration detection. A fine-grained deterioration embedding constructor (FDEC) is proposed to reconstruct the labeled multimodal embedded feature dataset, thereby enhancing sample representation. A fine-grained deterioration recalibration attention network (FDRA-Net) is proposed to emphasize signal variations and improve sensitivity to fine-grained deterioration on the rice surface. Compared with SS-Net, the proposed method improves classification accuracy by 8.67%, with an average improvement of 11.51% over other traditional baseline models, while simultaneously simplifying the detection procedure. Furthermore, field detection results demonstrate advantages in both accuracy and operational simplicity. The proposed method can also be extended to other agrifood applications in agriculture and the food industry.

연구 동기 및 목표

• 다중모달 데이터(시각 및 후각)를 활용하여 미세한 쌀 악화 신호의 표현을 개선한다.
• 비용이 높은 분광 이미징 장치에 대한 의존성을 줄이면서도 높은 감지 정확도를 유지한다.
• 멀티모달 임베딩을 재구성하고 보강하여 다운스트림 탐지를 위한 샘플 표현을 향상시킨다.
• 구별 가능한 영역과 후각 채널에 주의를 기울이는 모달리티 인식 주의 메커니즘을 개발한다.
• 오프라인 및 현장(온라인) 쌀 품질 평가 시나리오에서의 실용적 타당성을 입증한다.

제안 방법

• 후각 데이터와 시각 데이터를 독립적으로 처리하고 이를 통합 임베딩 세트로 구성하는 구조적 멀티모달 임베딩을 생성하는 FDEC를 도입한다.
• 후각 신호를 강화하기 위해 PLR을 적용하고 시각 데이터를 로컬 패치로 분할하여 패치 수준 컨볼루션 임베더로 처리한다.
• 후각 특징에 대한 SE 기반 채널 재조정과 희소하고 미세한 곰팡이 패턴에 초점을 맞춘 CBAM 기반 시각 주의를 갖춘 FDRA-Net을 개발한다.
• 여러 FDRA 계층을 쌓아 모달리티를 점진적으로 재조정 및 융합한 후 선형 투영 및 삼분류 출력(Expired, Moldy, Normal)을 위한 분류기를 적용한다.
• 8일치 데이터를 학습/검증에 사용하고 1일치를 테스트에 사용하여 오프라인 데이터셋으로 학습 및 평가하며, 실제 곡물창 샘플로 온라인 현장 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 특징 재조정 기반의 후각‑시각 프레임워크가 단일 모달 및 기존 다중모달 방법보다 미세한 쌀 악화 탐지에서 우수한가?
• RQ2 FDEC 임베딩 구성은 샘플 표현과 다운스트림 탐지의 강건성을 향상시키는가?
• RQ3 SE 및 CBAM 서브모듈이 공동 탐지 작업에서 후각 및 시각 모달리에 보완적 이점을 제공하는가?
• RQ4 RGB 카메라와 저가의 e-nose로 실제 저장 환경에서 실용적으로 배치가 가능한가?
• RQ5 온라인 현장 조건에서의 성능은 오프라인 평가와 비교하여 어떤가?

주요 결과

• FDRA-Net은 오프라인 테스트 세트에서 99.89%의 정확도를 달성하며 Moldy에서 100.00%의 정밀도/재현율, Expired에서 100.00%의 정밀도/재현율을 보고한 결과를 보여준다.
• FDRA-Net은 전체 정확도와 재현율에서 CNN, NAM, ResNet, SENet, SKNet, SS-Net 등 다양한 베이스라인을 능가하며 모델 크기(~48.7 MB)와 레이턴시(~9.48 ms)도 합리적이다.
• ablation 분석은 FDEC가 결정적임을 보여주며 이를 제거하면 정확도가 99.89%에서 85.44%로 떨어진다; SE와 CBAM은 후각 및 시각 특징에 대해 보완적 이득을 제공한다.
• Grad-CAM 분석은 FDRA-Net이 FDRA가 없는 모델과 달리 국소화된 곰팡이 관련 영역에 주의를 집중함을 나타낸다.
• 온라인 현장 테스트는 93.33%의 정확도를 보이며 실제 환경에서 Expired 탐지에 다소 감소가 있었지만 여전히 베이스라인보다 우수하다.