[논문 리뷰] Data Augmentation of Spectral Data for Convolutional Neural Network (CNN) Based Deep Chemometrics

Esben Jannik Bjerrum, Mads Glahder외 1명|arXiv (Cornell University)|2017. 10. 05.

Spectroscopy and Chemometric Analyses참고 문헌 3인용 수 136

한 줄 요약

본 논문은 데이터 증강과 확장된 멀티플리케이티드 스캐터 보정(EMSC)을 적용한 CNN이 NIR 스펙트럼으로부터 정제 약물 함량을 예측하는 데 있어 PLS 모델보다 우수하다는 것을 보여주며, 특히 기기 간 및 농도 범위의 외삽 추정에서 두드러진다.

ABSTRACT

Deep learning methods are used on spectroscopic data to predict drug content in tablets from near infrared (NIR) spectra. Using convolutional neural networks (CNNs), features are ex- tracted from the spectroscopic data. Extended multiplicative scatter correction (EMSC) and a novel spectral data augmentation method are benchmarked as preprocessing steps. The learned models perform better or on par with hypothetical optimal partial least squares (PLS) models for all combinations of preprocessing. Data augmentation with subsequent EMSC in combination gave the best results. The deep learning model CNNs also outperform the PLS models in an extrapolation chal- lenge created using data from a second instrument and from an analyte concentration not covered by the training data. Qualitative investigations of the CNNs kernel activations show their resemblance to wellknown data processing methods such as smoothing, slope/derivative, thresholds and spectral region selection.

연구 동기 및 목표

• NIR 분광 데이터 회귀를 통해 정제 약물 함량을 예측하기 위해 CNN의 활용을 촉진한다.
• 데이터 증강 및 EMSC를 포함한 전처리 전략을 기준선 및 가상의 최적 PLS 모델과 비교 평가한다.
• 두 기기의 데이터 및 외삽 조건에서의 모델 성능을 평가한다.
• CNN 커널 활성화가 알려진 분광 처리 개념과 어떤 관련이 있는지 조사한다.

제안 방법

• 가우시안 노이즈를 가지는 Keras/Theano로 CNN 모델을 구성하고, 두 개의 1D 합성곱 계층, 드롭아웃, 선형 출력 계층을 포함한다.
• 오프셋, 기울기, 강도를 섞어 무작위 데이터 증강을 적용해 훈련 세트를 확장한다.
• 전처리 변형을 비교한다: 전처리 없음, 정규화, 그리고 정규화된 Extended Multiplicative Scatter Correction (EMSC).
• 검증 세트를 사용한 베이지안 최적화(가우시안 프로세스)로 하이퍼파라미터를 최적화하고, 네트워크 구조, 드롭아웃, 학습률을 조정한다.
• R2, RMSE 및 Huber 손실을 지표로 CNN과 부분최소자승(PLS) 모델을 벤치마크한다.
• 학습에 없던 두 번째 기기 데이터와 더 높은 측정 값으로 외삽을 평가한다.

실험 결과

연구 질문

• RQ1 CNN이 전처리 파이프라인 간 다르게 구성되어도 PLS 모델만큼 또는 더 잘 NIR 스펙트럼으로부터 정제 함량을 예측할 수 있는가?
• RQ2 데이터 증강과 EMSC 전처리를 결합하면 최고의 예측 성능을 얻을 수 있는가?
• RQ3 다른 기기와 보지 않은 농도 범위를 넘나드는 외삽 시나리오에서 CNN의 성능은 어떠한가?
• RQ4 CNN 커널 활성화는 전통적 전처리(스무딩, 도함수, 영역 선택)에 비해 학습된 스펙트럼 특징을 어떻게 드러내는가?

주요 결과

• 데이터 증강이 사용하는 전처리 변variant에서 CNN은 일반적으로 PLS 모델보다 테스트 세트에서 우수하다.
• 데이터 증강 이후 EMSC가 CNN의 성능에 대해 가장 좋은 성능을 제공한다.
• CNN은 외삽 챌린지에서 PLS를 능가하는 강한 외삽 능력을 보이며 두 번째 기기와 미지의 농도에서 우수했다.
• EMSC는 CNN의 성능을 일관되게 개선하는 반면, 증강만으로는 CNN에 더 이득을 주는 경우가 많아 PLS보다 유리하다.
• 질적 커널 활성 분석은 CNN이 스무딩, 도함수/경사 인식, 스펙트럴 영역 선택에 유사한 특징을 학습함을 시사하여 해석 가능한 동작을 암시한다.
• 외삽 테스트는 향후 성능에 맞춘 하이퍼파라미터 최적화의 중요성을 강조한다.