[논문 리뷰] Depth and depth-based classification with R-package ddalpha

Oleksii Pokotylo, Pavlo Mozharovskyi외 1명|Kölner Universitäts PublikationsServer (Universität zu Köln)|2016. 08. 14.

Advanced Statistical Methods and Models참고 문헌 36인용 수 20

한 줄 요약

이 논문은 다변량 및 기능 데이터를 위한 데이터 깊이와 깊이 기반 분류 방법을 구현하는 R 패키지 ddalpha를 소개한다. 다중 깊이 함수를 사용해 데이터를 깊이 공간으로 변환하고, $α$-절차 분리기를 적용하는 $DD\alpha$-절차를 제안하며, 실증 테스트에서 $k$-NN 및 다항식 분류기보다 뛰어난 분류 정확도를 달성하는 강건한 비모수적 분류기이다.

ABSTRACT

Following the seminal idea of Tukey, data depth is a function that measures how close an arbitrary point of the space is located to an implicitly defined center of a data cloud. Having undergone theoretical and computational developments, it is now employed in numerous applications with classification being the most popular one. The R-package ddalpha is a software directed to fuse experience of the applicant with recent achievements in the area of data depth and depth-based classification. ddalpha provides an implementation for exact and approximate computation of most reasonable and widely applied notions of data depth. These can be further used in the depth-based multivariate and functional classifiers implemented in the package, where the $DDα$-procedure is in the main focus. The package is expandable with user-defined custom depth methods and separators. The implemented functions for depth visualization and the built-in benchmark procedures may also serve to provide insights into the geometry of the data and the quality of pattern recognition.

연구 동기 및 목표

• 데이터 깊이와 깊이 기반 분류를 위한 포괄적이고 사용자 확장이 가능한 R 패키지 개발
• 기존 깊이 기반 분류기의 한계를 해결하기 위해, 다항식 피팅의 불안정성과 볼록 hull 외부의 점(외부자)에 대한 낮은 처리 능력 문제 해결
• 고차원 및 기능 데이터에 대해 효율적이고 강건하며 계산적으로 실현 가능한 깊이 계산 방법 제공
• 깊이 변환과 $\alpha$-절차 분리기를 통해 민감도가 높고 비모수적인 분류 기능 제공
• 내장된 벤치마킹 및 교차 검증 절차를 통한 실증적 파라미터 튜닝 지원

제안 방법

• 각 훈련 데이터 포인트를 $q$개의 클래스 각각에 대해 깊이 값의 $q$차원 벡터로 변환하여 깊이 공간 형성
• 깊이 공간에서 비모수적이고 강건하며 계산적으로 효율적인 분리기인 $\alpha$-절차 적용하여 분류 수행
• 볼록 hull 외부에 위치한 깊이가 0인 '외부자'(outsiders)에 대해 전용 처리 전략을 통해 분류 능력 유지
• 깊이 계산 이전에 위치-기울기(LS-) 변환을 통해 기능 데이터 분류 지원
• 반경, 단순형, 투영, 마할라노비스 등 다양한 깊이 함수에 대해 정확한 알고리즘과 근사 알고리즘 모두 구현하고, 구성 가능한 파라미터 제공
• 사용자 정의 깊이 방법과 분리기 지원을 통해 확장성과 특정 데이터 기하학에 대한 적응성 향상

실험 결과

연구 질문

• RQ1 계산적으로 효율적이고 강건한 방식으로 데이터 깊이를 다변량 및 기능 분류에 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 어떤 깊이 함수가 계산 부담과 분류의 불안정성을 최소화하면서도 데이터 위상 구조를 가장 잘 유지하는가?
• RQ3 훈련 데이터의 볼록 hull 외부에 위치한 점들(외부자)은 성능 저하 없이 의미 있게 분류될 수 있는가?
• RQ4 기존의 깊이 기반 및 비깊이 기반 분류기(예: $k$-NN 및 다항식 분류기)와 비교해 $DD\alpha$-절차의 상대적 성능은 어떠한가?
• RQ5 교차 검증 및 벤치마킹 절차를 통해 깊이 계산 및 분류의 파라미터를 자동으로 튜닝할 수 있는 방법은 무엇인가?

주요 결과

• 실제 데이터에 대한 실증 평가에서 $DD\alpha$-절차는 다항식 분류기 및 $k$-NN 모두보다 낮은 오류율을 기록함
• $DD\alpha$ 분류기는 다항식 기반 방법이 수치적 불안정성에 취약할 수 있는 것과는 달리 뛰어난 강건성과 안정성을 보임
• 근사 깊이 계산(예: 랜덤 반면, 투영, 단순형 근사)을 통해 정밀도 손실을 통제하면서도 확장 가능한 분석이 가능
• 외부자 처리 전략은 복잡한 재가중치 조정이 필요 없이도 볼록 hull 외부의 점들에 대해 계산적으로 효율적인 해결책을 제공하며, 분류 능력을 유지함
• 깊이 함수, 분리기, 파라미터($L$, $S$, $k$, num.directions 등)의 교차 검증이 분류 정확도를 크게 향상시킴
• 패키지의 벤치마킹 프레임워크를 통해 반복적 교차 검증을 통한 반복적 파라미터 튜닝이 가능하며, 오류율이 여러 파라미터 조합에 대해 추정됨