[論文レビュー] Boost AI Power: Data Augmentation Strategies with unlabelled Data and Conformal Prediction, a Case in Alternative Herbal Medicine Discrimination with Electronic Nose

Li Liu, Xianghao Zhan+8 more|arXiv (Cornell University)|Feb 5, 2021

Advanced Chemical Sensor Technologies参考文献 36被引用数 4

ひとこと要約

本稿では、未ラベル付きデータと適合予測を用いて、電子鼻による漢方薬の分類を向上させるための新規なアンサンブル誘導的適合予測オンライン学習（EICP）戦略を提案する。EICPは、データ不足やノイズの状況においてもモデルの精度と頑性を顕著に向上させ、36のタスクのうち25で5つの競合手法を統計的に有意に上回り（p ≤ 0.05）、高価なラベル付きデータへの依存を低減する有効性を示している。

ABSTRACT

Electronic nose has been proven to be effective in alternative herbal medicine classification, but due to the nature of supervised learning, previous research heavily relies on the labelled training data, which are time-costly and labor-intensive to collect. To alleviate the critical dependency on the training data in real-world applications, this study aims to improve classification accuracy via data augmentation strategies. The effectiveness of five data augmentation strategies under different training data inadequacy are investigated in two scenarios: the noise-free scenario where different availabilities of unlabelled data were considered, and the noisy scenario where different levels of Gaussian noises and translational shifts were added to represent sensor drifts. The five augmentation strategies, namely noise-adding data augmentation, semi-supervised learning, classifier-based online learning, Inductive Conformal Prediction (ICP) online learning and our novel ensemble ICP online learning proposed in this study, are experimented and compared against supervised learning baseline, with Linear Discriminant Analysis (LDA) and Support Vector Machine (SVM) as the classifiers. Our novel strategy, ensemble ICP online learning, outperforms the others by showing non-decreasing classification accuracy on all tasks and a significant improvement on most simulated tasks (25out of 36 tasks,p<=0.05). Furthermore, this study provides a systematic analysis of different augmentation strategies. It shows at least one strategy significantly improved the classification accuracy with LDA (p<=0.05) and non-decreasing classification accuracy with SVM in each task. In particular, our proposed strategy demonstrated both effectiveness and robustness in boosting the classification model generalizability, which can be employed in other machine learning applications.

研究の動機と目的

• 電子鼻を用いた漢方薬分類において、高価で時間がかかるラベル付き学習データへの依存を低減すること。
• データ不足とセンサーのずれという現実的な条件下で、未ラベル付きデータを用いたデータ拡張戦略の有効性を評価すること。
• さまざまなデータ品質および可用性の下でも分類精度を維持または向上させる、頑健で適応可能なデータ拡張手法の開発と検証すること。
• 同じデータセット上で、適合予測ベースの戦略と他のデータ拡張技術の間で、公平で体系的な比較を提供すること。
• 未ラベル付きデータを活用することで、薬局などの現地環境における電子鼻システムの実用的導入を可能にするために、モデルの汎化能力を向上させること。

提案手法

• 複数の適合予測器を組み合わせることで不確実性推定と予測信頼性を向上させる、新規なアンサンブル誘導的適合予測オンライン学習（EICP）戦略を提案した。
• 5つのデータ拡張戦略を適用した：ノイズ追加データ拡張、半教師あり学習、分類器ベースのオンライン学習、誘導的適合予測（ICP）オンライン学習、およびEICP。
• 2つのデータセットを用い、ノイズなしとノイズあり（ガウスノイズおよび平行移動シフトを含む）の2つのシナリオにおいて、線形判別分析（LDA）およびサポートベクターマシン（SVM）をベース分類器として使用して全戦略を評価した。
• 未ラベル付きデータの割合を変化させ、ノイズおよびシフト摂動を用いてセンサーのずれを再現することで、現実の条件を模擬し、頑健性を評価した。
• 戦略および分類器間の性能差の統計的有意性を評価するために、ウィルコクソン符号順位検定を用いた。
• 異なる季節にわたって収集された480件の追加サンプルを含む独立したデータセット（データセット2）を用いて結果を検証し、汎化性を確認した。

実験結果

リサーチクエスチョン

• RQ1 未ラベル付きデータを用いたデータ拡張戦略は、漢方薬識別を目的とした電子鼻システムにおいて、分類精度を顕著に向上させることができるか？
• RQ2 センサーのずれに起因するデータ品質の不一致や、データ不足の度合いが異なる状況下で、さまざまなデータ拡張戦略はどのように性能を発揮するか？
• RQ3 本稿で提案するEICP戦略は、実用的導入環境において、既存の適合予測および半教師あり学習手法よりも頑健で効果的であると評価できるか？
• RQ4 未ラベル付きデータの使用は、ノイズが多いまたはデータが不足している状況下でも、すべてのタスクで分類精度が低下しないか？
• RQ5 どのデータ拡張戦略が、実世界の電子鼻アプリケーションにおいて、性能、頑健性、適応性のバランスが最良であるか？

主な発見

• 提案されたEICP戦略は、36の実験的タスクすべてで分類精度が低下しなかったことを示し、多様なデータ条件下でも一貫した性能を発揮した。
• EICPは、ベースラインと比較して36のタスクのうち25で有意に高い分類精度を達成し、p ≤ 0.05の有意水準を満たした。
• すべてのタスクで、少なくとも1つのデータ拡張戦略がLDAの精度を向上させたが、EICPはSVMにおいてもすべてのタスクで精度が低下しなかった。
• ノイズありのシナリオ（センサーのずれを模擬）では、EICPが最も頑健な戦略であったことが判明し、ガウスノイズおよび平行移動シフトの下でも性能を維持した。
• 体系的な比較により、特にEICPを含む適合予測ベースの戦略が、従来の半教師あり学習およびノイズ追加手法よりも、精度と安定性の両面で優れていることが確認された。
• 独立したデータセット（データセット2）での検証により、EICPが異なる季節のデータにも汎化可能であることが確認され、実用的応用への妥当性が強化された。