[論文レビュー] Convolutional neural networks for classification and regression analysis of one-dimensional spectral data

Ine L. Jernelv, Dag Roar Hjelme+2 more|arXiv (Cornell University)|May 15, 2020

Spectroscopy and Chemometric Analyses被引用数 13

ひとこと要約

本研究では、NIR、MIR、ラマン分光法からの一次元スペクトルデータの分類および回帰に、畳み込みニューラルネットワーク（CNN）の性能を評価する。CNNは、特に分類において、SVM や PLSR といった従来のケモメトリクス手法よりも優れた性能を示すが、最適な前処理と特徴選択を適用した場合、性能の差は著しく縮まる。

ABSTRACT

Convolutional neural networks (CNNs) are widely used for image recognition and text analysis, and have been suggested for application on one-dimensional data as a way to reduce the need for pre-processing steps. Pre-processing is an integral part of multivariate analysis, but determination of the optimal pre-processing methods can be time-consuming due to the large number of available methods. In this work, the performance of a CNN was investigated for classification and regression analysis of spectral data. The CNN was compared with various other chemometric methods, including support vector machines (SVMs) for classification and partial least squares regression (PLSR) for regression analysis. The comparisons were made both on raw data, and on data that had gone through pre-processing and/or feature selection methods. The models were used on spectral data acquired with methods based on near-infrared, mid-infrared, and Raman spectroscopy. For the classification datasets the models were evaluated based on the percentage of correctly classified observations, while for regression analysis the models were assessed based on the coefficient of determination (R$^2$). Our results show that CNNs can outperform standard chemometric methods, especially for classification tasks where no pre-processing is used. However, both CNN and the standard chemometric methods see improved performance when proper pre-processing and feature selection methods are used. These results demonstrate some of the capabilities and limitations of CNNs used on one-dimensional data.

研究の動機と目的

• 生スペクトルデータおよび前処理済みスペクトルデータを用いた1次元スペクトルデータの分類および回帰タスクにおける畳み込みニューラルネットワーク（CNN）の性能を評価すること。
• 複数のスペクトルデータセットを通じて、分類にはSVM、回帰にはPLSRを含む標準的なケモメトリクス手法とCNNを比較すること。
• CNNが、ケモメトリクス分析で一般的に必要な時間のかかる前処理および特徴選択の段階に依存する必要を軽減するかどうかを調査すること。
• 前処理および特徴選択の影響が、NIR、MIR、ラマン分光法といった異なる分光法の分野でモデルの精度に与える影響を評価すること。

提案手法

• 生スペクトルデータから階層的なスペクトル特徴を直接抽出できるように、複数の畳み込み層およびプーリング層を備えた1D-CNNアーキテクチャを訓練した。
• 同じデータセット上で、分類にはSVM、回帰にはPLSRを含む標準的なケモメトリクスモデルとCNNの性能を比較した。
• ノイズフィルタリング、スケーリング、スペクトル微分、ボーリングなどの前処理手法を適用して、データ品質を向上させた。
• ラッピングベースの特徴選択法（遺伝的アルゴリズム、逐次前向選択、モービングウインドウ）および埋め込み型手法（エラスティックネット）を用いて、関連するスペクトル領域を同定した。
• 複数回のCNNトレーニング実行において一貫して重要なスペクトル領域を特定できるように、安定性に基づく特徴選択を実施した。
• 分類精度（正しく分類された割合）および回帰性能（決定係数、R²）を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 1D-CNNは、標準的なケモメトリクス手法よりも、生スペクトルデータにおいて分類および回帰の性能を優れていると言えるか？
• RQ2 前処理は、CNNおよび従来のケモメトリクスモデルの両方の性能をどの程度向上させるか？
• RQ3 従来の手法と比較して、CNNは、広範な前処理および特徴選択の必要性を軽減するのか？
• RQ4 さまざまな特徴選択戦略が、スペクトル分析におけるモデル精度にどのように影響するか？
• RQ5 複数回のトレーニング実行において、CNNが一貫して重要なとされるスペクトル領域は存在するか？

主な発見

• CNNは、特に分類タスクにおいて、SVM や PLSR といった標準的なケモメトリクス手法を生スペクトルデータ上で上回った。
• 最適な前処理および特徴選択を適用した場合、CNNと従来モデルとの間の性能差は著しく縮まった。
• ノイズフィルタリング、スケーリング、スペクトル微分、ボーリング（要因2–4）といった前処理手法は、すべてのモデルにおいて一貫して精度を向上させた。
• 特に遺伝的アルゴリズムを用いた特徴選択は、回帰および分類の両方の予測精度を向上させ、安定性ベースのCNN特徴選択と整合性の高い結果を示した。
• CNNは、グルコース溶液における1800–900 cm⁻¹ のような意味のあるスペクトル領域を同定し、それが化学的に関連する吸収に一致した。
• CNNが生データから直接学習できるにもかかわらず、依然としてハイパーパrameterチューニング（カーネルサイズ、ストライドなど）が必要であり、パrameter数が少ない単純なモデルに比べて計算効率の利点が限定的である。