[논문 리뷰] High-Dimensional Regularized Discriminant Analysis

John A. Ramey, Caleb K. Stein외 2명|arXiv (Cornell University)|2016. 02. 03.

Gene expression and cancer classification참고 문헌 40인용 수 3

한 줄 요약

이 논문은 p > N인 소형표본 고차원 데이터를 위한 계산적으로 효율적이고 해석 가능한 분류기인 고차원 정규화된 판별 분석(HDRDA)을 제안한다. RDA를 재매개변수화하여 훈련 관측치를 클래스 공분산 추정치로 융합하고, 영공간 제거를 통해 차원을 감소시킴으로써 HDRDA는 p에 대해 선형 계산 복잡도를 달성하여 RDA 및 기타 분류기보다 정확도와 속도에서 뛰어나며, p=5000 특성에서 최대 502.786배 빠르게 작동한다.

ABSTRACT

Regularized discriminant analysis (RDA), proposed by Friedman (1989), is a widely popular classifier that lacks interpretability and is impractical for high-dimensional data sets. Here, we present an interpretable and computationally efficient classifier called high-dimensional RDA (HDRDA), designed for the small-sample, high-dimensional setting. For HDRDA, we show that each training observation, regardless of class, contributes to the class covariance matrix, resulting in an interpretable estimator that borrows from the pooled sample covariance matrix. Moreover, we show that HDRDA is equivalent to a classifier in a reduced-feature space with dimension approximately equal to the training sample size. As a result, the matrix operations employed by HDRDA are computationally linear in the number of features, making the classifier well-suited for high-dimensional classification in practice. We demonstrate that HDRDA is often superior to several sparse and regularized classifiers in terms of classification accuracy with three artificial and six real high-dimensional data sets. Also, timing comparisons between our HDRDA implementation in the sparsediscrim R package and the standard RDA formulation in the klaR R package demonstrate that as the number of features increases, the computational runtime of HDRDA is drastically smaller than that of RDA.

연구 동기 및 목표

• 고차원 소형표본 설정(p > N)에서 전통적인 정규화된 판별 분석(RDA)의 계산 불가능성과 해석 불가능성 문제를 해결한다.
• RDA의 정규화 이점을 유지하면서도 효율적인 계산과 훈련 관측치가 공분산 추정에 기여하는 방식을 명확히 해석할 수 있는 분류기를 개발한다.
• RDA의 행렬 연산 차원을 영공간 성분을 제거하여 감소시켜, 특성 수에 대해 선형 시간 계산이 가능하도록 한다.
• 실제 및 시뮬레이션된 고차원 데이터셋에서 RDA, 희박 분류기, 랜덤 포레스트와 비교해 HDRDA가 뛰어난 분류 정확도를 달성함을 입증한다.
• sparsediscrim R 패키지에 효율적인 구현을 제공하여, 모델 선택에서 표준 RDA에 비해 극적으로 빠른 속도 향상을 보여준다.

제안 방법

• 각 훈련 관측치의 기여도를 해석할 수 있도록, 개별 클래스 공분산 행렬을 융합한 편향 공분산 추정치를 사용해 RDA를 재매개변수화한다.
• 양의 정부호성과 안정성을 확보하기 위해, 결과로 얻은 융합 추정치를 스케일된 항등행렬로 수축시킨다.
• 융합 공분산 행렬의 영공간에서의 행렬 연산은 분류에 대해 중복되므로 이를 제거하여 차원을 감소시킨다. 이로 인해 차원은 약 표본 크기 q로 감소한다.
• 특이값 분해(SVD)를 사용해 융합 공분산 행렬의 p−N개의 영성분(0 고유값)을 식별하고 제거함으로써 문제를 저차원 공간으로 축소시킨다.
• 감소된 공간에서 HDRDA 의사결정 규칙을 수립하여, 소규모 비특이 행렬에서의 역행렬과 행렬식을 계산함으로써 p에 대해 선형 시간 계산이 가능하도록 한다.
• 감소된 차원을 활용해 sparsediscrim R 패키지를 통해 효율적인 그리드 서치와 교차검증을 수행하여 하이퍼파rameter를 튜닝한다. 이는 빠른 모델 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 소형표본 설정(p > N)에서 정규화된 판별 분석 분류기를 동시에 해석 가능하고 계산적으로 효율적으로 만들 수 있는가?
• RQ2 표준 RDA 수식을 차원 감소 및 영공간 제거된 접근 방식으로 대체할 경우, 분류 정확도는 유지하면서 계산 비용을 극적으로 감소시킬 수 있는가?
• RQ3 실제 및 시뮬레이션된 고차원 데이터셋에서 HDRDA의 성능은 RDA, 랜덤 포레스트, 기타 희박 또는 대각 행렬 분류기와 비교해 어떻게 되는가?
• RQ4 p > N 조건 하에서 기존의 수축 추정치(Srivastava & Kubokawa, Rao & Mitra 등)가 HDRDA 프레임워크 내에서 여전히 효과적인가?
• RQ5 HDRDA의 모델 선택 과정은 충분히 가속화되어 유전체 발현 또는 영상 데이터와 같은 대규모 고차원 데이터에 실용적으로 적용될 수 있는가?

주요 결과

• p = 5000일 때 HDRDA는 모델 선택에서 표준 RDA보다 502.786배 빠르게 작동하여 평균 실행 시간을 24.933분에서 2.979초로 단축시켰다.
• 여섯 개인 실제 고차원 데이터셋과 세 개인 시뮬레이션 데이터셋에서 HDRDA는 RDA, 랜덤 포레스트 및 여러 희박 분류기(Pang, Tong, Witten 등)보다 일관되게 높은 분류 정확도를 달성했다.
• HDRDA 의사결정 규칙은 융합 공분산 행렬의 약 p−N개의 영성분(0 고유값) 조정에 대해 불변성을 보이며, 영공간 연산이 중복되어 안전하게 제거될 수 있음을 확인했다.
• HDRDA는 이상치에 대해 강건하며, 수치적 불안정성으로 인해 다른 분류기(예: Witten & Tibshirani, 2011의 페널티 선형 판별 분석)가 실패할 때도 높은 성능을 유지한다.
• HDRDA 분류기는 약 표본 크기와 동일한 차원을 가진 저차원 특성 공간에서의 분류기와 동일하며, 이로 인해 p에 대해 선형 시간의 행렬 연산이 가능하다.
• sparsediscrim R 패키지에 구현된 HDRDA는 대규모 고차원 데이터에 대해 계산적으로 실현 가능하며, 이러한 환경에서 RDA를 대체할 실용적인 선택이 되었다.