[논문 리뷰] varrank: an R package for variable ranking based on mutual information with applications to observed systemic datasets

Gilles Kratzer, Reinhard Furrer|arXiv (Cornell University)|2018. 04. 19.

Bayesian Modeling and Causal Inference참고 문헌 19인용 수 9

한 줄 요약

이 논문은 상호정보 기반 방법, 특히 mRMRe 프레임워크를 사용하는 모델 자유형 변수 랭킹을 위한 R 패키지인 varrank를 소개한다. 이는 목표 집합에 대한 관련성을 극대화하고 상호 간 중복성을 최소화함으로써 다변량 분석을 가능하게 하며, 전염병학 및 그 외 분야의 고차원 시스템 데이터셋에 대해 민첩하고 해석 가능하며 계산적으로 효율적인 솔루션을 제공한다.

ABSTRACT

This article describes the R package varrank. It has a flexible implementation of heuristic approaches which perform variable ranking based on mutual information. The package is particularly suitable for exploring multivariate datasets requiring a holistic analysis. The core functionality is a general implementation of the minimum redundancy maximum relevance (mRMRe) model. This approach is based on information theory metrics. It is compatible with discrete and continuous data which are discretised using a large choice of possible rules. The two main problems that can be addressed by this package are the selection of the most representative variables for modeling a collection of variables of interest, i.e., dimension reduction, and variable ranking with respect to a set of variables of interest.

연구 동기 및 목표

• 시스템 역학학 및 관련 분야에서 흔히 볼 수 있는 고차원 다변량 데이터셋에서의 변수 선택 과제를 해결하기 위해.
• 기존의 단계적 또는 적합도 기반 변수 선택 방법과 달리, 임의의 임계값에 의존하지 않는 민첩하고 모델에 의존하지 않는 대안을 제공하기 위해.
• 단일 결과 예측에 국한되지 않고 다수의 관심 변수를 동시에 고려함으로써 통합적 분석을 가능하게 하기 위해.
• 상호정보 및 중복성 페널티를 활용한 정보 이론적 지표를 통해 변수 랭킹의 해석 가능성과 계산 효율성을 향상시키기 위해.
• 전문 지식을 데이터 기반 선택과 융합하기 위해, 강력한 변수 랭킹을 위한 시각적 및 설정 가능한 도구를 제공하기 위해.

제안 방법

• 목표 집합에 대한 관련성과 이미 선택된 변수들 간의 중복성을 균형 잡는 점수를 기반으로 변수를 선택하는 최소 중복 최대 관련성(mRMRe) 모델을 활용한다.
• 변수 간의 관련성과 중복성을 측정하기 위해 상호정보(MI)를 핵심 지표로 사용하며, 이는 이산형 또는 연속형 데이터를 이산화한 후에도 호환 가능하다.
• 중복성 페널티 항에 대해 네 가지의 별도 정규화 전략(battiti, kwak, peng, esteves)을 구현하여 각각 알려진 mRMRe 알고리즘의 변종에 대응한다.
• 사용자가 정의한 여러 규칙을 통해 데이터 이산화를 지원하여 정보 이론적 계산에서 연속형 변수를 견고하게 처리할 수 있도록 한다.
• 표본 크기 변화에 따른 랭킹 안정성을 평가하기 위해 부트스트래핑 절차(80% 표본 추출)를 구현하며, 결과는 평행 좌표도로 시각화된다.
• 변수 랭킹과 그 안정성을 시각화할 수 있는 전용 플로팅 기능을 제공하여 탐색적 데이터 분석 및 모델 해석을 지원한다.

실험 결과

연구 질문

• RQ1 단일 결과 예측에 의존하지 않고, 다수의 관심 변수가 존재할 경우 모델에 의존하지 않고 통합적으로 변수 랭킹을 수행할 수 있는 방법은 무엇인가?
• RQ2 고차원 데이터셋에서 표본 크기가 변화함에 따라 mRMRe 기반 접근법이 변수 선택의 안정성과 일관성에 얼마나 기여하는가?
• RQ3 mRMRe 프레임워크 내에서 다양한 정규화 전략(battiti, kwak, peng, esteves) 간의 변수 랭킹 성능 및 강건성은 어떻게 비교할 수 있는가?
• RQ4 상호정보 기반 랭킹이 단계적 선택 또는 AIC/BIC와 같은 전통적 방법보다 체계적 데이터셋에서 안정성과 관련성 측면에서 뛰어나다고 할 수 있는가?
• RQ5 varrank 패키지는 체계적 역학학 분야에서 전문 지식과 데이터 기반 변수 선택을 어떻게 통합하는가?

주요 결과

• Pima Indians Diabetes 데이터셋에서 varrank 패키지는 80% 부트스트래핑을 사용할 때 상위 랭킹 변수의 추출률 약 25% 수준에서 높은 일致성을 보였다.
• 높은 상관관계를 보이는 Longley 데이터셋에서는 다양한 방법 간 변수 랭킹의 일치도가 낮았으며, 특히 'Armed.Forces' 변수에서 민감도가 높게 나타났다.
• 부트스트래핑 분석 결과, 'glucose' 변수의 랭킹은 표본 크기가 변화하더라도 안정적으로 유지되어 데이터 서브샘플링과 무관한 높은 관련성을 시사했다.
• 변수 'pressure'는 95% 및 90% 부트스트래핑 샘플에서 일관되게 6위를 기록했으며, 'mass', 'pedigree', 'age', 'insulin'과 비교해 중간 정도의 관련성을 보였지만 일관성은 떨어졌다.
• 그림 3의 평행 좌표도는 표본 크가 증가함에 따라 전체 랭킹 패턴이 안정적임을 확인했으며, 일부 변수는 순위에 대한 불확실성이 낮았다.
• 작고 중간 크기의 데이터셋에서 varrank는 경쟁 가능한 계산 성능를 보였으며, 실용적이고 실제 적용 가능한 응용 분야에서의 활용 가능성을 뒷받침했다.