[논문 리뷰] High-dimensional Linear Discriminant Analysis: Optimality, Adaptive Algorithm, and Missing Data

Tommaso Cai, Linjun Zhang|arXiv (Cornell University)|2018. 04. 09.

Statistical Methods and Inference참고 문헌 12인용 수 11

한 줄 요약

이 논문은 적응형 제약을 가진 ℓ1 최소화를 사용하여 고차원 선형 판별 분 析에 대한 최적의 튜닝 없는 분류 규칙을 개발하며, 최소 최대 최적 수렴 속도를 달성한다. 또한 완전히 무작위로 데이터가 누락되는(MCAR) 조건 하에서의 분류에 대한 이론적 보장을 확립하며, 강건한 적응형 분류기 도입과 완전 및 불완전 데이터 설정 모두에 대한 날카운 최소 최대 하한을 도출한다.

ABSTRACT

This paper aims to develop an optimality theory for linear discriminant analysis in the high-dimensional setting. A data-driven and tuning free classification rule, which is based on an adaptive constrained $\ell_1$ minimization approach, is proposed and analyzed. Minimax lower bounds are obtained and this classification rule is shown to be simultaneously rate optimal over a collection of parameter spaces. In addition, we consider classification with incomplete data under the missing completely at random (MCR) model. An adaptive classifier with theoretical guarantees is introduced and optimal rate of convergence for high-dimensional linear discriminant analysis under the MCR model is established. The technical analysis for the case of missing data is much more challenging than that for the complete data. We establish a large deviation result for the generalized sample covariance matrix, which serves as a key technical tool and can be of independent interest. An application to lung cancer and leukemia studies is also discussed.

연구 동기 및 목표

• . 고차원 선형 판별 분석에 대한 최소 최대 최적 분류 규칙을 수립하기 위해.
• . 적응형 제약을 가진 ℓ1 최소화를 통해 데이터 기반의 튜닝 없는 분류 방법을 개발하기 위해.
• . 최적성 이론을 고차원 분류에 대한 완전히 무작위로 데이터가 누락되는(MCAR) 경우로 확장하기 위해.
• . 완전 및 불완전 데이터 상황 모두에서 초과 오분류 위험의 최소 최대 하한을 도출하기 위해.
• . 희소 판별 방향을 가진 일반적인 가우시안 모델 하에서 제안된 분류기의 이론적 보장을 제공하기 위해.

제안 방법

• . 판별 방향 β = Ωδ를 직접 추정하기 위해 적응형 제약을 가진 ℓ1 최소화 접근법을 제안하며, Σ와 δ를 별도로 추정하는 것을 피한다.
• . 튜닝 파rameter를 회피하는 데이터 기반의 임계값 전략을 사용하여 실용성을 향상시킨다.
• . 불완전 데이터 분석을 위한 핵심 기술 도구로 일반화된 표본 공분산 행렬의 대규모 탈진 결과를 수립한다.
• . 희소성(‖β‖₀ ≤ s), 고유값 제약, 신호 대 잡음 비율 ∆ ∈ [Mn,p, 3Mn,p]를 모두 반영하는 매개터 공간 G(s, Mn,p)를 구성한다.
• . Fano의 보조정리와 Le Cam의 방법을 적용하여 추정 및 분류 위험에 대한 최소 최대 하한을 유도한다.
• . 첫 번째 n₀개의 표본이 완전히 관측되는 특정한 MCAR 누락 패턴 S₀를 고려하여, 불완전 데이터 문제를 n₀개 표본을 가진 완전한 데이터 문제로 환원한다.

실험 결과

연구 질문

• RQ1 . 일반적인 가우시안 모델 하에서 고차원 선형 판별 분석의 초과 오분류 위험에 대한 최적 수렴 속도는 무엇인가?
• RQ2 . 데이터 기반의 튜닝 없는 분류 규칙이 고차원 환경에서 최소 최대 최적성을 달성할 수 있는가?
• RQ3 . MCAR 모델 하에서 데이터 누락이 고차원 LDA의 최소 최대 수렴 속도에 어떤 영향을 미치는가?
• RQ4 . 데이터가 불완전하고 차원이 클 경우 분류 오차의 본질적 한계(최소 최대 하한)는 무엇인가?
• RQ5 . 하나의 분류기가 다양한 고차원 매개터 공간에서 동시에 최적 수렴 속도를 달성할 수 있는가?

주요 결과

• . 제안된 적응형 제약을 가진 ℓ1 최소화 규칙은 매개터 공간 G(s, Mn,p) 전체에 대해 동시에 속도 최적성을 달성한다.
• . 판별 방향 β의 추정 오차에 대한 최소 최대 하한은 Mn,p√(s log p / n)의 주기로 되어 있으며, 추정의 본질적 한계를 규명한다.
• . 완전한 데이터 케이스에서는 초과 오분류 위험에 대한 최소 최대 하한이 Mn,p⁻¹ exp(−Mn,p²/8) √(s log p / n)의 주기로 되어 있으며, 로그 요소를 제외한 상한과 일치한다.
• . n₀개의 관측 표본이 있는 MCAR 모델 하에서는 임의의 δ > 0에 대해 초과 오분류 위험에 대한 최소 최대 하한이 Mn,p⁻¹ exp(−(1/8 + δ)Mn,p²) √(s log p / n₀)의 주기로 된다.
• . Mn,p가 유계일 경우 하한은 Cα e⁻¹/⁸ Mn,p⁻¹ √(s log p / n₀)로 단순화되며, 신호 대 잡음 비율에 대해 지수 감소함을 보여준다.
• . 일반화된 표본 공분산 행렬의 대규모 탈진에 대한 기술적 결과가 수립되었으며, 이는 고차원 추론 분야에서 별도의 관심사로도 중요하다.