[論文レビュー] Data Augmentation of Spectral Data for Convolutional Neural Network (CNN) Based Deep Chemometrics

Esben Jannik Bjerrum, Mads Glahder+1 more|arXiv (Cornell University)|Oct 5, 2017

Spectroscopy and Chemometric Analyses参考文献 3被引用数 136

ひとこと要約

本論文は、データ拡張と拡張乗法散乱補正 (EMSC) を備えたCNNが、NIRスペクトルから錠剤薬物含量を予測する際にPLSモデルよりも優れており、特に機器間および濃度範囲の外挿で顕著であることを示している。

ABSTRACT

Deep learning methods are used on spectroscopic data to predict drug content in tablets from near infrared (NIR) spectra. Using convolutional neural networks (CNNs), features are ex- tracted from the spectroscopic data. Extended multiplicative scatter correction (EMSC) and a novel spectral data augmentation method are benchmarked as preprocessing steps. The learned models perform better or on par with hypothetical optimal partial least squares (PLS) models for all combinations of preprocessing. Data augmentation with subsequent EMSC in combination gave the best results. The deep learning model CNNs also outperform the PLS models in an extrapolation chal- lenge created using data from a second instrument and from an analyte concentration not covered by the training data. Qualitative investigations of the CNNs kernel activations show their resemblance to wellknown data processing methods such as smoothing, slope/derivative, thresholds and spectral region selection.

研究の動機と目的

• スペクトロスコピー Data regression のための畳み込みニューラルネットワーク（CNN）を用いて、NIRスペクトルから錠剤薬物含量を予測することの動機づけ。
• 前処理戦略（データ拡張とEMSC）を、ベースラインおよび仮想的最適なPLSモデルと比較評価する。
• 2つの機器からのデータおよび外挿条件でのモデル性能を評価する。
• CNNのカーネル活性化が既知のスペクトル処理概念とどのように関連するかを調査する。

提案手法

• Gaussianノイズを伴うKeras/TheanoでのCNNモデルを構築し、2つの1D畳み込み層、ドロップアウト、および線形出力層を用いる。
• オフセット、スロープ、強度を撹乱して訓練データセットを拡張するランダムデータ拡張を適用する。
• 前処理のバリエーションを比較：前処理なし、正規化、および正規化を伴う拡張乗法散乱補正（EMSC）。
• 検証セットを用いたベイズ最適化（ガウス過程）によるハイパーパラメータ最適化。ネットワークアーキテクチャ、ドロップアウト、学習率を調整する。
• R2、RMSE、Huber loss を指標として、CNNをPartial Least Squares（PLS）モデルと比較する。
• 訓練データに存在しない第二の機器およびより高いアッセイ値での外挿を評価する。

実験結果

リサーチクエスチョン

• RQ1 CNNは前処理パイプラインの違いを跨いで、NIRスペクトルから錠剤のアッセイ濃度を予測する能力をPLSモデルと同等またはそれ以上に学習できるか。
• RQ2 データ拡張とEMSC前処理を組み合わせると、最良の予測性能が得られるか。
• RQ3 機器間および未知の濃度範囲に対する外挿シナリオでCNNはどのようにパフォーマンスを示すか。
• RQ4 CNNのカーネル活性化は、平滑化、微分/傾斜検知、領域選択など、学習されたスペクトル特徴に関して従来の前処理と比較して何を示唆するか。

主な発見

Dataset	Subset	R2 (PLS)	RMSE (PLS)	Huber (PLS)	R2 (NN)	RMSE (NN)	Huber (NN)
Standard	Train	0.94	4.43	2.60	0.97	4.01	2.51
Standard	Test	0.94	4.43	2.60	0.97	4.01	2.51
EMSC	Train	0.96	4.15	2.71	0.97	3.17	1.91
EMSC	Test	0.96	4.15	2.71	0.97	3.28	1.89
Ext.	Train	0.36	8.03	6.29	0.35	4.59	3.22
Ext.	Test	0.36	8.03	6.29	0.35	4.59	3.22
Ext. EMSC	Train	0.18	3.42	2.26	0.33	3.42	2.09
Ext. EMSC	Test	0.18	3.42	2.26	0.33	3.42	2.09
DA	Train	0.95	4.23	2.61	0.97	3.97	2.44
DA	Test	0.95	4.23	2.61	0.97	3.97	2.44
DA EMSC	Train	0.96	3.97	2.52	0.98	3.28	1.89
DA EMSC	Test	0.96	3.97	2.52	0.98	3.28	1.89
Ext. DA	Train	0.38	8.84	6.99	0.20	3.10	1.79
Ext. DA	Test	0.38	8.84	6.99	0.20	3.10	1.79
Ext. DA EMSC	Train	0.15	3.27	2.06	0.52	1.80	0.88
Ext. DA EMSC	Test	0.15	3.27	2.06	0.52	1.80	0.88

• データ拡張を使用した場合、CNNは前処理バリアントを跨いでテストセットで一般的にPLSモデルよりも上回る。
• データ拡張に続くEMSCは、CNNの前処理戦略の中で最良の性能を提供する。
• CNNは外挿能力を示し、第二の機器と未知の濃度範囲を用いた外挿チャレンジでPLSを上回る。
• EMSCは一貫してCNNの性能を向上させ、拡張のみはしばしばPLSよりCNNに有利に働く。
• 定性的なカーネル活性化解析は、CNNが平滑化、微分/傾斜認識、スペクトル領域選択に似た特徴を学習しており、解釈可能な挙動を示すことを示唆する。
• 外挿テストは、将来の性能を意図したハイパーパラメータ最適化の重要性を強調する。