[논문 리뷰] Discriminant Analysis with Adaptively Pooled Covariance

Noah Simon, Rob Tibshirani|arXiv (Cornell University)|2011. 11. 07.

Face and Expression Recognition참고 문헌 2인용 수 6

한 줄 요약

이 논문은 두 클래스 간 정밀도 행렬의 원소를 차별화된 희소성 조건을 통해 적응적으로 융합하는 정규화된 판별 분석 방법인 ℓ₁-PDA를 제안한다. 정밀도 행렬의 차이에 ℓ₁ 페널티를 적용함으로써, LDA처럼 분산을 줄이면서도 QDA처럼 강한 편향을 피함으로써 고차원 데이터에서 중간 크기의 표본 크기에서도 분류 정확도를 향상시킨다.

ABSTRACT

Linear and Quadratic Discriminant analysis (LDA/QDA) are common tools for classification problems. For these methods we assume observations are normally distributed within group. We estimate a mean and covariance matrix for each group and classify using Bayes theorem. With LDA, we estimate a single, pooled covariance matrix, while for QDA we estimate a separate covariance matrix for each group. Rarely do we believe in a homogeneous covariance structure between groups, but often there is insufficient data to separately estimate covariance matrices. We propose L1- PDA, a regularized model which adaptively pools elements of the precision matrices. Adaptively pooling these matrices decreases the variance of our estimates (as in LDA), without overly biasing them. In this paper, we propose and discuss this method, give an efficient algorithm to fit it for moderate sized problems, and show its efficacy on real and simulated datasets.

연구 동기 및 목표

• 각 클래스의 별도 공분산 행렬을 추정하기에 충분한 표본 크기가 부족한 고차원 분류 문제에 대처한다.
• 전통적 LDA(과도하게 제한적인 동질성 가정)와 QDA(매개수 많은 경우 높은 분산)의 한계를 극복한다.
• 유사한 공분산 요소들만 적응적으로 융합하여 추정 분산을 줄이되, 과도한 편향을 피하는 방법을 개발한다.
• 클래스별 정밀도 행렬 간의 차이를 희소하게 추정하여, 어떤 변수 상호작용이 클래스 간으로 다를지 식별한다.
• 수렴 보장을 갖는 ADMM를 사용한 계산적으로 효율적인 모델 피팅 알고리즘을 제공한다.

제안 방법

• 정밀도 행렬의 차이에 대한 ℓ₀ 노름을 ℓ₁ 페널티로 대체함으로써 조합 최적화 문제의 볼록 relaxation을 제안한다.
• 정밀도 행렬의 차이에 ℓ₁ 페널티를 부여한 음의 로그우도 최소화 문제로 추정 문제를 공식화한다.
• 비볼록 문제를 블록 반복 방식으로 수렴 보장이 있는 ADMM(교차 방향 승수법)로 해결한다.
• ADMM 보조 문제에 대한 폐쇄형 업데이트를 유도: 공분산 업데이트에는 고유값 분해, 정밀도 행렬 차이 업데이트에는 소프트 임계처리를 사용한다.
• 평균과 공분산 추정을 분리한다: 평균 매개수는 공분산 구조와 독립적으로 추정되어 계산을 단순화한다.
• ADMM 알고리즘 내에서 고유값 기반 업데이트를 통해 추정된 공분산 행렬의 준정부호성을 보장한다.

실험 결과

연구 질문

• RQ1 정밀도 행렬의 관련된 원소들만 적응적으로 융합함으로써 고차원 설정에서 분류 성능을 향상시킬 수 있는가?
• RQ2 클래스별 정밀도 행렬 간의 차이에 희소성 조건을 적용하면 표준 LDA나 QDA보다 더 높은 추정 정확도를 달성할 수 있는가?
• RQ3 정밀도 행렬 차이에 구조적 희소성을 갖는 정규화된 판별 모델을 피팅하기 위한 확장 가능하고 수렴 보장이 있는 알고리즘을 개발할 수 있는가?
• RQ4 ℓ₁-PDA 방법은 분류 오차와 변수 선택 측면에서 RDA나 그래프적 라소와 같은 기존 방법보다 어떻게 비교되는가?
• RQ5 이 방법은 클래스 간 조건부 독립 구조의 의미 있는 차이를 어느 정도 식별할 수 있는가?

주요 결과

• 실제 및 시뮬레이션 데이터셋에서 ℓ₁-PDA는 LDA와 QDA보다 낮은 분류 오차를 기록하며, 진짜 정밀도 행렬이 몇 개의 원소만 다를 경우에 특히 뛰어난 성능을 보였다.
• 이 방법은 LDA의 강한 동질성 가정을 부과하지 않으면서도 공분산 요소를 적응적으로 융합하여 분산을 줄였다.
• ADMM 기반 알고리즘은 p ≈ 100개의 변수를 가진 문제에 대해 신뢰성 있고 효율적으로 수렴하며, 수천에서 수만 개의 매개수를 처리할 수 있었다.
• ℓ₁ 페널티는 정밀도 행렬의 차이에 희소성을 유도하여, 어떤 변수 쌍이 클래스 간으로 다른 조건부 의존성을 가지는지 식별할 수 있게 하였다.
• 실험 결과, 중간 크기의 표본과 고차원 설정에서 ℓ₁-PDA는 RDA와 표준 QDA를 모두 능가하는 성능을 보였다.
• 이 방법은 클래스 간 변수 간 상호작용의 차이를 자연스럽게 식별하고 모델링할 수 있어 순수한 분류 이외의 해석 가능성까지 제공한다.