[논문 리뷰] Variable Selection with Copula Entropy

Jian Ma|arXiv (Cornell University)|2019. 10. 28.

Spectroscopy and Chemometric Analyses참고 문헌 31인용 수 15

한 줄 요약

이 논문은 반응 변수와의 의존도 강도에 따라 예측 변수를 순위 매기고 선택하는 모델 불필요, 튜닝 불필요한 변수 선택 방법을 제안한다. 이 방법은 Copula Entropy(CE)를 사용하며, 기존의 거리 상관계수, HSIC, 단계적 선택, 정규화 모델과 비교해도 예측 정확도를 희생시키지 않은 채 관련성 있고 해석 가능한 변수를 효과적으로 선택한다. 특히 UCI 심장병 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Variable selection is of significant importance for classification and regression tasks in machine learning and statistical applications where both predictability and explainability are needed. In this paper, a Copula Entropy (CE) based method for variable selection which use CE based ranks to select variables is proposed. The method is both model-free and tuning-free. Comparison experiments between the proposed method and traditional variable selection methods, such as Distance Correlation, Hilbert-Schmidt Independence Criterion, Stepwise Selection, regularized generalized linear models and Adaptive LASSO, were conducted on the UCI heart disease data. Experimental results show that CE based method can select the `right' variables out more effectively and derive better interpretable results than traditional methods do without sacrificing accuracy performance. It is believed that CE based variable selection can help to build more explainable models.

연구 동기 및 목표

• 기존의 상관계수 기반 방법이 실패하는 고차원, 비선형, 비정규 분포 데이터에서 관련 예측 변수를 선택하는 데 도전하는 것.
• 모수적 가정이나 하이퍼파rameter 튜닝에 의존하지 않는, 모델 불필요이자 튜닝 불필요한 변수 선택 방법을 개발하는 것.
• 정보 이론에 기반한 통계적으로 의미 있는 의존도 측정법을 활용해 모델의 해석 가능성 향상.
• 거리 상관계수, HSIC, AIC/BIC를 사용한 단계적 선택, 정규화 모델과 같은 기존 방법들을 능가하여 임상적으로 관련성이 높은 변수를 선택하는 것.
• 실제 응용 분야에서 변수 선택을 위한 원리적이고 축약 가능하며 물리적으로 해석 가능한 측정법으로서 Copula Entropy를 정립하는 것.

제안 방법

• 모든 예측 변수와 반응 변수 간의 의존도 측정으로 Copula Entropy(CE)를 사용하며, 이는 단조 증가 변환에 대해 불변인 방식으로 통계적 의존도를 정량화한다.
• CE 값에 따라 변수를 순위 매기며, 높은 CE는 반응 변수와의 강한 의존도를 나타내고, 이는 높은 관련성을 의미한다.
• 이 방법은 예측 변수와 반응 변수 간의 관계에 대해 특정한 모수적 형태를 가정하지 않기 때문에 모델 불필요하다.
• LASSO나 Ridge 회귀와 달리 하이퍼파rameter(예: 정규화 강도)가 필요로 하지 않기 때문에 튜닝 불필요하다.
• 엔트로피의 축약적 성질을 활용하며, 이는 단조 증가 변환에 대한 불변성과 정규 분포 가정 하에서의 일관된 행동을 포함한다.
• 변수 선택은 CE 기반 순위가 높은 변수들을 선택하여 반응 변수와의 의존도를 최대화하는 부분집합을 구성함으로써 수행된다.

실험 결과

연구 질문

• RQ1 Copula Entropy는 기존의 의존도 측정법에 비해 신뢰성 있고, 모델 불필요이며 튜닝 불필요한 대안이 될 수 있는가?
• RQ2 예측 정확도와 선택 효율성 측면에서 CE 기반 변수 선택은 거리 상관계수, HSIC, AIC/BIC, 정규화 모델과 같은 전통적 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 CE 기반 선택은 다른 방법들보다 더 해석 가능하고 임상적으로 의미 있는 변수 부분집합을 도출하는가?
• RQ4 dCor과 dHSIC에 비해 CE는 실제 데이터에서 비선형, 비정규 분포 의존도를 얼마나 잘 포착하는가?
• RQ5 CE 기반 선택은 희소성이나 모델 정확성에 대한 제약 조건을 갖지 않더라도 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• CE 기반 방법은 UCI 심장병 데이터셋에서 임상적으로 인정받는 예측 변수와 매우 일치하는 변수를 선택하여 강력한 해석 가능성과 함께 검증되었다.
• 선택 정확도와 예측 성능 측면에서 거리 상관계수와 HSIC보다 CE가 뛰어난 성능을 보였으며, 의미 있는 비선형 의존도를 탐지하는 데 뛰어난 능력을 보였다.
• AIC/BIC를 사용한 단계적 선택과 비교해 CE 방법은 더 많은 관련 변수를 선택했고, 모형 오류 및 근사 오류의 위험을 피할 수 있었다.
• 오라클 성질을 지닌 적응형 LASSO는 CE 방법보다 더 적은 수의 변수를 선택했으며, 추가 혈관 관련 특징과 같은 추가적인 임상적으로 의미 있는 예측 변수를 CE 방법이 포괄했다.
• CE 기반 모델은 모든 기준선 방법과 비교해 유사하거나 더 높은 예측 정확도를 달성했고, 통계적 의존도에 기반한 더 해석 가능한 변수 부분집합을 제공했다.
• 결과적으로 CE 기반 변수 선택은 모수적 가정이나 정규화 튜닝에 의존하는 방법들보다 더 견고하고 보편적으로 적용 가능한 것으로 나타났다.