[논문 리뷰] Supervised functional classification: A theoretical remark and some comparisons

Amparo Baı́llo, Antonio Cuevas|ArXiv.org|2008. 06. 17.

Spectroscopy and Chemometric Analyses참고 문헌 27인용 수 5

한 줄 요약

이 논문은 삼각형 공분산 함수를 가진 광범위한 가우시안 과정의 클래스 하에서 기능 데이터에 대한 k-최근접 이웃(k-NN) 분류기의 일致성을 확립하고, 실제 및 시뮬레이션 데이터 세트에서 k-NN를 여러 기능 분류기와 실증적으로 비교한다. 결과적으로 매끄러운 기능 데이터에서는 L∞ 노름을 사용한 k-NN가 강력하게 성능을 보이며, 다른 방법들을 능가하거나 그와 맞먹는 경향을 보여, k-NN가 기능 분류에서 신뢰할 수 있는 기준으로서의 역할을 한다는 것을 뒷받침한다.

ABSTRACT

The problem of supervised classification (or discrimination) with functional data is considered, with a special interest on the popular k-nearest neighbors (k-NN) classifier. First, relying on a recent result by Cerou and Guyader (2006), we prove the consistency of the k-NN classifier for functional data whose distribution belongs to a broad family of Gaussian processes with triangular covariance functions. Second, on a more practical side, we check the behavior of the k-NN method when compared with a few other functional classifiers. This is carried out through a small simulation study and the analysis of several real functional data sets. While no global "uniform" winner emerges from such comparisons, the overall performance of the k-NN method, together with its sound intuitive motivation and relative simplicity, suggests that it could represent a reasonable benchmark for the classification problem with functional data.

연구 동기 및 목표

• 삼각형 공분산 함수를 가진 일반적인 가우시안 과정의 클래스 하에서 기능 데이터에 대한 k-NN 분류기의 이론적 일치성을 확립하기 위해.
• 실제 및 시뮬레이션 데이터 세트에서 다른 기능 분류 방법과의 비교를 통해 k-NN의 실증적 성능를 평가하기 위해.
• 간단함에도 불구하고 k-NN이 기능 분류에서 강력하고 실용적인 기준으로 남아 있는지 평가하기 위해.
• 기능 곡선의 스무딩이 k-NN 분류 성능에 미치는 영향을 조사하기 위해.
• PLS, MWR, h-모달 방법을 포함한 다양한 기능 분류 기법의 계산 효율성과 정확도를 비교하기 위해.

제안 방법

• 이론적 분석은 Cérou와 Guyader(2006)의 결과에 기반하여 삼각형 공분산 함수를 가진 가우시안 과정의 클래스 하에서 기능 데이터에 대한 k-NN 분류기의 일치성을 증명한다.
• 실증적 비교는 두 가지 모델을 사용한 시뮬레이션 연구를 통해 수행되며, 하나는 매끄러운 곡선을, 다른 하나는 불규칙하고 자주립한 궤적을 갖는다.
• 실제 데이터의 경우, 교차검증을 통해 6개의 데이터 세트(버클리 성장, ECG, MCO, 스펙트로미트릭, 폰음소프, 메드플라이즈)에서 평균 정확한 분류율을 계산한다.
• k-NN 분류기는 기능 관측치 간의 거리 계산에 L² 및 L∞ 노름을 모두 사용하여 적용된다.
• 추가로 비교된 방법으로는 부분최소제곱법(PLS), h-모달 분류기, 정규화된 투영(RP), 그리고 군집 내 평균 회귀(MWR)가 있다.
• 메드플라이즈 데이터에 대해 스퍼링을 통한 스무딩을 적용하여 L∞ 노름을 사용한 k-NN 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 기저 과정이 삼각형 공분산 함수를 가진 가우시안 과정일 경우, 기능 데이터에 대한 k-NN 분류기는 일치하는가?
• RQ2 실제 데이터 세트에서 L∞ 노름을 사용한 k-NN 분류기는 다른 기능 분류기와 비교해 정확도 측면에서 어떻게 성과를 내는가?
• RQ3 불규칙한 기능 데이터를 스무딩하면 k-NN 분류기의 성능이 향상되는가?
• RQ4 기능 데이터에서 PLS, MWR, h-모달 분류기와 비교해 k-NN의 상대적 계산 효율성과 정확도는 어떠한가?
• RQ5 간단함과 뛰어난 실증적 성능 덕분에 k-NN는 기능 분류에서 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• Cérou와 Guyader(2006)의 결과에 기반해 삼각형 공분산 함수를 가진 광범위한 가우시안 과정의 클래스 하에서 기능 데이터에 대한 k-NN 분류기는 이론적으로 일치한다.
• ECG 데이터 세트에서 L∞ 노름을 사용한 k-NN는 99.00%의 정확한 분류율을 기록하여, PLS(98.25%)와 h-모달(99.00%)를 제외한 모든 방법보다 뛰어나다.
• MCO 데이터 세트에서 L∞ 노름을 사용한 k-NN는 84.27%의 정확도를 기록하여 PLS(88.76%)에 비해 약간 낮지만, RP(70.79%)와 MWR(68.54%)에 비해 뚜렷이 뛰어나다.
• 메드플라이즈 데이터 세트에서 L∞ 노름을 사용한 k-NN는 스무딩 전 54.68%에서 스무딩 후 57.12%로 향상되어, 불규칙한 곡선에서 스무딩이 성능 향상에 기여함을 보여준다.
• 폰음소프 데이터 세트에서는 L² 노름을 사용한 k-NN가 78.00%의 정확도를 기록하여 L∞ 노름을 사용한 k-NN(73.00%)와 MWR(69.50%)를 모두 능가하여, 데이터 유형에 따라 거리 측정법의 선택이 중요하다는 것을 시사한다.
• 높은 계산 비용에도 불구하고 PLS는 스펙트로미트릭 데이터에서 가장 높은 정확도(91.63%)를 기록했지만, L∞ 노름을 사용한 k-NN(90.70%)와 L² 노름을 사용한 k-NN(85.58%)도 강력한 경쟁자로 남아 있다.