[논문 리뷰] Boost AI Power: Data Augmentation Strategies with unlabelled Data and Conformal Prediction, a Case in Alternative Herbal Medicine Discrimination with Electronic Nose

Li Liu, Xianghao Zhan외 8명|arXiv (Cornell University)|2021. 02. 05.

Advanced Chemical Sensor Technologies참고 문헌 36인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터와 순환 예측을 활용하여 전자 코 기반 한약재 분류의 정확도를 향상시키기 위해 새로운 앙상블 인덕티브 컨formal 예측 온라인 학습(EICP) 전략을 제안한다. EICP는 다양한 데이터 부족 및 노이즈 조건에서도 모델의 정확도와 강건성을 크게 향상시키며, 36개 작업 중 25개에서 통계적으로 유의미한 우월성을 보이며(유의수준 p ≤ 0.05), 고비용 레이블 데이터에 대한 의존도를 줄이는 데 효과적임을 입증한다.

ABSTRACT

Electronic nose has been proven to be effective in alternative herbal medicine classification, but due to the nature of supervised learning, previous research heavily relies on the labelled training data, which are time-costly and labor-intensive to collect. To alleviate the critical dependency on the training data in real-world applications, this study aims to improve classification accuracy via data augmentation strategies. The effectiveness of five data augmentation strategies under different training data inadequacy are investigated in two scenarios: the noise-free scenario where different availabilities of unlabelled data were considered, and the noisy scenario where different levels of Gaussian noises and translational shifts were added to represent sensor drifts. The five augmentation strategies, namely noise-adding data augmentation, semi-supervised learning, classifier-based online learning, Inductive Conformal Prediction (ICP) online learning and our novel ensemble ICP online learning proposed in this study, are experimented and compared against supervised learning baseline, with Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM) as the classifiers. Our novel strategy, ensemble ICP online learning, outperforms the others by showing non-decreasing classification accuracy on all tasks and a significant improvement on most simulated tasks (25out of 36 tasks,p<=0.05). Furthermore, this study provides a systematic analysis of different augmentation strategies. It shows at least one strategy significantly improved the classification accuracy with LDA (p<=0.05) and non-decreasing classification accuracy with SVM in each task. In particular, our proposed strategy demonstrated both effectiveness and robustness in boosting the classification model generalizability, which can be employed in other machine learning applications.

연구 동기 및 목표

• 전자 코 기반 한약재 분류에서 고비용이며 시간이 오래 소요되는 레이블 데이터에 대한 의존도를 줄이기 위해.
• 데이터 부족 및 센서 드프트 조건에서 실제 환경을 반영한 레이블이 없는 데이터를 활용한 데이터 증강 전략의 효과를 평가하기 위해.
• 다양한 데이터 품질과 가용성 조건에서도 분류 정확도를 유지하거나 향상시키는 강력하고 적응형 데이터 증강 방법을 개발하고 검증하기 위해.
• 동일한 데이터셋에서 순환 예측 기반 전략과 다른 데이터 증강 기법 간의 공정하고 체계적인 비교를 제공하기 위해.
• 현장 환경(예: 약국 등)에서의 실질적 전자 코 시스템 구현을 가능하게 하기 위해, 레이블이 없는 데이터를 활용해 모델의 일반화 능력을 향상시키기 위해.

제안 방법

• 다양한 순환 예측기들을 조합하여 불확실성 추정과 예측 신뢰도를 향상시키는 새로운 앙상블 인덕티브 컨포멀 예측 온라인 학습(EICP) 전략을 제안하였다.
• 다섯 가지 데이터 증강 전략을 적용: 노이즈 추가 데이터 증강, 준감독 학습, 분류기 기반 온라인 학습, 인덕티브 컨포멀 예측(ICP) 온라인 학습, EICP.
• 두 데이터셋에서 선형 판별 분석(LDA)과 서포트 벡터 머신(SVM)을 기반 분류기로 사용하여, 노이즈 없는 경우와 노이즈가 있는 경우(가우시안 노이즈 및 이동 이격)의 두 시나리오에서 모든 전략을 평가하였다.
• 레이블가 없는 데이터 비율을 변화시키고 노이즈 및 이격 변형을 통해 센서 드프트를 유도하여 실제 환경 조건을 시뮬레이션하여 강건성 평가를 수행하였다.
• 전략 간 성능 차이의 통계적 유의성을 평가하기 위해 윌코크슨 부호 순위 검정을 사용하였다.
• 일관성 있는 일반화 능력을 확보하기 위해, 다른 계절에 걸쳐 수집된 480개의 추가 샘플을 포함한 독립된 데이터셋(dataset 2)에서 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터를 활용한 데이터 증강 전략이 전자 코 기반 한약재 식별에서 분류 정확도를 유의미하게 향상시킬 수 있는가?
• RQ2 센서 드프트로 인한 데이터 품질 불일치와 데이터 부족 수준이 다양할 경우, 다양한 데이터 증강 전략의 성능은 어떻게 달라지는가?
• RQ3 실제 구현 환경에서 기존의 순환 예측 및 준감독 학습 기법에 비해 제안된 EICP 전략이 더 강건하고 효과적인가?
• RQ4 레이블이 없는 데이터의 사용이 노이즈가 많거나 데이터가 부족한 조건에서도 모든 작업에서 분류 정확도가 감소하지 않는가?
• RQ5 실생활 전자 코 응용 분야에서 성능, 강건성, 적응성의 최적의 균형을 제공하는 데이터 증강 전략은 무엇인가?

주요 결과

• 제안된 EICP 전략은 모든 36개 실험 작업에서 정확도가 감소하지 않아 다양한 데이터 조건에서도 일관된 성능을 보였다.
• 기준 전략 대비 36개 작업 중 25개에서 EICP가 유의미한 정확도 향상을 보였으며, p ≤ 0.05의 통계적 유의성 수준을 확보하였다.
• 모든 작업에서 LDA 기반으로 최소 한 가지 데이터 증강 전략이 정확도 향상을 보였고, EICP는 SVM 기반으로도 모든 작업에서 정확도가 감소하지 않았다.
• 노이즈가 있는 시나리오는 센서 드프트를 시뮬레이션하였으며, 이 조건에서 EICP가 가장 강건한 전략으로 나타나 가우시안 노이즈 및 이동 이격 조건에서도 성능을 유지하였다.
• 체계적인 비교 결과, 특히 EICP를 포함한 순환 예측 기반 전략이 전통적인 준감독 학습 및 노이즈 추가 방법에 비해 정확도와 안정성 측면에서 뛰어나다는 것이 확인되었다.
• 독립된 데이터셋(dataset 2)에서의 검증을 통해 EICP가 다양한 계절의 데이터에 걸쳐 일반화 가능하다는 것이 확인되었으며, 실생활 적용 가능성에 대한 신뢰도를 강화하였다.