[논문 리뷰] Partial least squares discriminant analysis: A dimensionality reduction method to classify hyperspectral data

Mario Fordellone, Andrea Bellincontro외 1명|arXiv (Cornell University)|2018. 06. 25.

Spectroscopy and Chemometric Analyses인용 수 34

한 줄 요약

이 논문은 고차원적이고 다중공선성 있는 데이터셋인 올리브의 근적외선 분광법 데이터에 적합한 차원 감소 및 분류 방법으로 부분최소제곱판별분석(PLS-DA)을 제안한다. PLS-DA는 세 종류의 올리브 품종을 분류하는 데서 KNN, SVM, DLDA, MLDA, SLDA보다 뛰어난 성능을 보이며, 테스트 세트에서 0.8%의 오분류율을 기록했고 잠재적 스코어 공간에서 잘 분리되고 균일한 클래스를 생성한다.

ABSTRACT

The recent development of more sophisticated spectroscopic methods allows acqui- sition of high dimensional datasets from which valuable information may be extracted using multivariate statistical analyses, such as dimensionality reduction and automatic classification (supervised and unsupervised). In this work, a supervised classification through a partial least squares discriminant analysis (PLS-DA) is performed on the hy- perspectral data. The obtained results are compared with those obtained by the most commonly used classification approaches.

연구 동기 및 목표

• 고차원적이고 다중공선성 있는 고분광 데이터의 분류 과제에서 발생하는 과제를 해결하기 위해.
• 제한된 표본 크기를 가진 고분광 데이터에 대해 PLS-DA를 감독 분류 방법으로 평가하기 위해.
• 일반적인 비모수적 및 정규화된 판별분석기와의 성능 비교를 위해.
• 주요 스펙트럼 파장의 식별을 위해 로딩과 성분 시각화를 통해 PLS-DA의 해석 가능성 평가를 위해.
• 클래스 구분성을 유지하면서 데이터 차원을 줄이는 데서 PLS-DA의 유용성을 입증하기 위해.

제안 방법

• PLS-DA는 예측변수와 반응변수를 새로운 잠재공간으로 투영하여 X(스펙트럼 데이터)와 Y(클래스 레이블) 간의 공분산을 최대화하는 감독 기반 차원 감소 기법으로 적용된다.
• 이 방법은 예측변수와 범주형 반응변수 간의 최대 공분산을 설명하는 잠재 성분을 추출하기 위해 반복 알고리즘을 사용한다.
• 최적의 성분 수는 카이제곱 검정을 통해 선정되었으며, P = 3개 성분이 최적으로 확인되었다(χ² = 153.283).
• 잠재 스코어를 기반으로 클래스 예측을 수행하며, 오분류율, 조정된 랜드 지수(ARI), 카이제곱 검정을 통해 분류 성능을 평가한다.
• 1100–2300 nm 스펙트럼 범위에서 로딩과 제곱로딩을 시각화하여 분류에 가장 영향을 미치는 파장 대역을 식별한다.
• 비교 모델로는 KNN, SVM, DLDA, MLDA, SLDA를 포함하며, 동일한 훈련 및 테스트 세트 분할을 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 PLS-DA는 고차원적이고 다중공선성 있는 고분광 올리브 데이터를 분류할 때 KNN, SVM 및 정규화된 LDA 변종보다 어떻게 성능이 뛰어나며?
• RQ2 이 데이터셋에 대해 PLS-DA의 최적 잠재 성분 수는 얼마이며, 이들이 전체 분산의 몇 퍼센트를 설명하는가?
• RQ3 PLS-DA 모델에서 클래스 분리를 위해 가장 기여하는 스펙트럼 파장은 무엇인가?
• RQ4 잠재 스코어 공간에서 다른 분류기보다 PLS-DA가 더 잘 분리되고 균일한 클래스 클러스터를 생성할 수 있는가?
• RQ5 PLS-DA는 로딩 시각화 및 성분 분석을 통해 얼마나 높은 수준의 해석 가능성을 향상시키는가?

주요 결과

• PLS-DA는 테스트 세트에서 0.8%의 가장 낮은 오분류율을 기록했으며, KNN(15.7%), SVM(13.7%), DLDA(25.5%), MLDA(1.0%), SLDA(1.1%)보다 뚜렷하게 뛰어난 성능을 보였다.
• 훈련 세트에서는 오분류율 0.2%와 ARI 0.880을 기록하여 강한 내부 일관성과 클래스 분리를 나타냈다.
• 카이제곱 검정을 통해 PLS-DA의 통계적 유의성이 높게 확인되었으며, 훈련 세트에서 χ² = 153.283, 테스트 세트에서 χ² = 77.182로 나타났다.
• 첫 두 잠재 성분의 시각화는 총 데이터 분산의 약 97%를 설명했으며, 가장 균일하고 잘 분리된 클래스 클러스터를 보였다.
• 로딩 분석 결과, 1100–1500 nm 범위의 파장은 첫 두 성분에 음의 기여를 하였고, 1500–1900 nm 및 1900–2300 nm 범위는 성분에 따라 복잡한 기여 패턴을 보였다.
• 모든 방법 중에서 PLS-DA는 잠재 공간에서 클래스 구조를 가장 해석 가능하고 시각적으로 일관된 방식으로 표현했으며, 탐색적 데이터 분석에서의 활용 가능성을 뒷받침한다.