[논문 리뷰] Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression

Deqiang Zheng, Jinzhu Jia외 2명|arXiv (Cornell University)|2017. 02. 15.

Statistical Methods and Inference참고 문헌 23인용 수 9

한 줄 요약

이 논문은 이元분류를 위한 이차판별분석(QDA)에서 주효과와 상호작용효과를 동시에 선택하기 위한 페널라이즈드 선형회귀 접근법인 CAP-SQDA를 제안한다. 변환된 최소제곱 최적화에 복합절대패널티(CAP)를 적용함으로써, 좌표강하를 통한 스퍼스 QDA 추정이 가능해지며, IIS-SQDA 및 BIC 기반 접근법과 비교해 더 뛰어난 변수선택 스퍼스성과 강건한 분류 정확도를 달성한다.

ABSTRACT

Discriminant analysis is a useful classification method. Variable selection for discriminant analysis is becoming more and more im- portant in a high-dimensional setting. This paper is concerned with the binary-class problems of main and interaction effects selection for the quadratic discriminant analysis. We propose a new penalized quadratic discriminant analysis (QDA) for variable selection in binary classification. Under sparsity assumption on the relevant variables, we conduct a penalized liner regression to derive sparse QDA by plug- ging the main and interaction effects in the model. Then the QDA problem is converted to a penalized sparse ordinary least squares op- timization by using the composite absolute penalties (CAP). Coor- dinate descent algorithm is introduced to solve the convex penalized least squares. The penalized linear regression can simultaneously se- lect the main and interaction effects, and also conduct classification. Compared with the existing methods of variable selection in QDA, the extensive simulation studies and two real data analyses demon- strate that our proposed method works well and is robust in the performance of variable selection and classification.

연구 동기 및 목표

• 예측변수의 수가 표본크기보다 초과하는 고차원 변수선택 문제를 해결하기 위해 이원분류를 위한 QDA에서의 고차원 변수선택 문제에 대응한다.
• 스퍼스성 가정 하에 관련된 주효과와 상호작용효과를 동시에 선택할 수 있는 방법을 개발한다.
• 기존의 페널라이즈드 QDA 방법과 비교해 분류 정확도와 변수선택 효율성을 향상시킨다.
• 비정규성에 취약한 강력한 정규성 가정에 대한 의존도를 줄인다. 이는 비정규 분포 설정에서 성능 저하를 방지한다.

제안 방법

• 복합절대패널티(CAP)를 적용한 변환된 최소제곱 최적화를 통해 스퍼스 QDA 문제를 페널라이즈드 스퍼스 보통최소제곱 최적화 문제로 변환한다.
• 정규화를 통한 공동 주효과 및 상호작용효과 선택을 위한 페널라이즈드 선형회귀 프레임워크를 적용한다.
• CAP-정규화된 최소제곱 설정에서 발생하는 볼록최적화 문제를 효율적으로 해결하기 위해 좌표강하 알고리즘을 사용한다.
• 두 단계 절차를 구현한다: 첫째, CAP를 통한 모델 변환; 둘째, 스퍼스 계수 추정을 위한 반복적 좌표별 최적화.
• 그룹 스퍼스성을 장려하는 복합절대패널티를 도입하여, 관련된 상호작용항 전체가 함께 선택되도록 유도한다.
• 선택된 주효과와 상호작용효과를 판별규칙에 통합함으로써 스퍼스 QDA를 도출하고, 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 설정에서 QDA에서 주효과와 상호작용효과를 동시에 효과적으로 선택할 수 있는 통합된 페널라이즈드 회귀 프레임워크가 가능한가?
• RQ2 IIS-SQDA 및 BIC 기반 접근법과 비교해 제안된 방법의 변수선택 및 분류 정확도 성능은 어떠한가?
• RQ3 기본 데이터가 다변량 정규분포에서 벗어나도 CAP-SQDA 방법이 강건성을 유지하는가?
• RQ4 분류 정확도를 유지하면서 선택된 효과의 수를 얼마나 줄일 수 있는가?
• RQ5 데이터 구조에 따라 자동으로 스퍼스 LDA와 스퍼스 QDA 간에 적응적으로 선택할 수 있는가?

주요 결과

• 파크인간병 데이터에서 100개의 분할에 걸쳐 CAP-SQDA는 평균적으로 4.98개의 총 효과만 선택했으며, 이는 IIS-SQDA의 20.94개에 비해 크게 적다.
• 유방암 데이터셋에서 CAP-SQDA는 총 22.48개의 효과만 선택해 8.85%의 오분류율을 달성했고, IIS-SQDA는 6.39%의 더 낮은 오분류율을 기록했지만 50.80개의 효과를 선택했다. 이는 CAP-SQDA가 더 뛰어난 스퍼스성과 경쟁 가능한 정확도를 동시에 확보했음을 시사한다.
• CAP-SQDA는 IIS-SQDA와 유사한 분류 정확도를 유지하면서 선택된 효과의 수를 약 50% 감소시켜 더 뛰어난 스퍼스성을 입증했다.
• BIC 기반 방법과 비교해 변수선택 스퍼스성에서 우월한 성능을 보였으며, 파크인간병 데이터에서 평균적으로 주효과 4.44개와 상호작용효과 2.12개만 선택했다.
• 실제 데이터 응용에서 CAP-SQDA는 가장 단순한 모델을 유지하면서도 높은 분류 정확도를 확보하여 강건성과 효율성의 우수성을 입증했다.
• 유방암 데이터셋에서 선택된 상호작용효과의 수가 낮은 것으로 보아, 방법이 자동으로 스퍼스 LDA와 스퍼스 QDA의 구조를 데이터 구조에 따라 적응적으로 선택하는 능력을 보였다.