[논문 리뷰] TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions

Benjamin Regler, Matthias Scheffler외 1명|arXiv (Cornell University)|2020. 01. 30.

Computational Drug Discovery Methods참고 문헌 94인용 수 4

한 줄 요약

이 논문은 소규모 또는 노이즈가 많은 연속 데이터에서 확률 밀도를 추정하는 데 어려움을 겪는 문제를 해결하기 위해 누적 확률 분포를 사용하여 상호정보량을 확장한 비모수적이고 강건한 다변량 상호의존성 추정기인 TCMI를 제안한다. TCMI는 목표 변수에 대한 비선형 통계적 의존성 기반으로 변수 집합을 순위 매김함으로써 신뢰할 수 있는 특성 선택을 가능하게 하며, 시뮬레이션 및 실제 재료 과학 데이터 세트에서의 성능이 뛰어나다는 것이 입증되었다.

ABSTRACT

The identification of relevant features, i.e., the driving variables that determine a process or the properties of a system, is an essential part of the analysis of data sets with a large number of variables. A mathematical rigorous approach to quantifying the relevance of these features is mutual information. Mutual information determines the relevance of features in terms of their joint mutual dependence to the property of interest. However, mutual information requires as input probability distributions, which cannot be reliably estimated from continuous distributions such as physical quantities like lengths or energies. Here, we introduce total cumulative mutual information (TCMI), a measure of the relevance of mutual dependences that extends mutual information to random variables of continuous distribution based on cumulative probability distributions. TCMI is a non-parametric, robust, and deterministic measure that facilitates comparisons and rankings between feature sets with different cardinality. The ranking induced by TCMI allows for feature selection, i.e., the identification of variable sets that are nonlinear statistically related to a property of interest, taking into account the number of data samples as well as the cardinality of the set of variables. We evaluate the performance of our measure with simulated data, compare its performance with similar multivariate-dependence measures, and demonstrate the effectiveness of our feature-selection method on a set of standard data sets and a typical scenario in materials science.

연구 동기 및 목표

• 표본 수가 적어 확률 밀도 추정이 불안정한 다변량 연속 분포에서 상호정보량을 신뢰성 있게 추정하는 데 도전하는 것.
• 표본 크기와 변수 집합의 기수를 모두 고려한 비모수적, 결정론적, 강건한 상호의존성 측정법을 개발하는 것.
• 다른 기수를 가진 변수가 있을 경우에도 목표 특성에 대한 비선형 통계적 의존성 기반으로 변수 부분집합을 순위 매김함으로써 효과적인 특성 선택을 가능하게 하는 것.
• 기존의 의존성 측정법에서 흔히 발생하는 척도 민감성 및 순열 민감성 등의 문제를 해결하는 것.
• 특히 밴드 갭과 같은 물리적 특성을 예측하는 데 있어 재료 과학 분야의 실제 데이터에서 관련 특성을 식별하는 데 TCMI의 효과성을 입증하는 것.

제안 방법

• 확률 밀도 함수(PDF)가 아닌 경험적 누적분포함수(ECDF)에 기반한 비모수적 추정기인 총 누적 상호정보량(TCMI)을 제안한다.
• 핵 밀도 추정 및 대역폭 선택이 필요 없도록 경험적 누적 엔트로피를 사용하여 연속 랜덤 변수의 정보량을 추정한다.
• 목표 변수 Y와 특성 집합 X 사이의 결합 상호의존성 측도로 TCMI를 정의하며, 이는 Y의 누적분포와 (X,Y)의 결합 누적분포로부터 유도된다.
• 기본 분포에 대한 가정 없이 강건한 소형 또는 노이즈가 많은 데이터에 적합한 비모수적이고 결정론적인 접근법을 적용한다.
• 분기 및 경합 또는 탐욕 전략을 사용한 특성 부분집합 탐색 프레임워크에 TCMI를 통합하여 최적의 특성 집합을 순위 매기고 선별한다.
• 기준 데이터 세트에서 예측 성능를 평가하기 위해 10겹 교차검증과 기울기 부스팅 결정수트(LightGBM)를 사용하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 확률 밀도 추정에 의존하지 않고도 소규모 또는 노이즈가 많은 연속 분포에서 다변량 의존성을 안정적으로 측정할 수 있는 비모수적 상호의존성 추정기를 개발할 수 있는가?
• RQ2 표본 수가 적거나 노이즈가 많은 데이터 세트에서 기존의 다변량 의존성 측정법(CMI, MAC, UDS, MCDE 등)과 비교해 TCMI는 특성 선택 정확도와 강건성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 특히 밴드 갭과 같은 물리적 특성을 예측하는 데 있어 TCMI는 실제 재료 과학 데이터에서 특성 선택 성능를 얼마나 향상시키는가?
• RQ4 TCMI는 표본 크기와 특성 집합의 기수를 동시에 고려하여 다양한 특성 조합 간의 공정한 비교가 가능한가?
• RQ5 시뮬레이션 및 실측 데이터에서, TCMI는 파rametric 또는 밀도 기반 대안 대비 비선형 다변량 의존성을 어떻게 효과적으로 식별하는가?

주요 결과

• TCMI는 8-18기반 이종화합물 반도체의 밴드 갭 예측을 위한 관련 특성 부분집합을 식별하는 데 CMI, MAC, UDS, MCDE보다 뛰어난 성능을 보이며, 9개 변수로 구성된 특성 집합을 사용할 경우 피어슨 R²가 0.87에 도달한다.
• 모든 16개 특성을 사용할 경우 루트 평균 제곱 오차(RMSE)는 0.15 eV, 평균 절대 오차(MAE)는 0.09 eV를 기록하여 강력한 예측 능력을 입증한다.
• TCMI는 누적분포에 기반함으로써 밀도 추정에 의존하지 않아 소규모 데이터에서 특히 강건하고 일관된 특성 선택 성능를 보인다.
• TCMI가 선별한 특성 부분집합(9개 변수)은 R²가 0.87을 기록하여 UDS(R² = 0.86) 및 MCDE(R² = 0.89)를 초월했으며, 일부 경우에서 오차 지표도 낮게 나타났다.
• TCMI는 CMI 및 MAC와 같이 흔히 발생하는 순열 민감성 및 척도 민감성 문제를 효과적으로 회피하며, 특히 재료 과학 데이터에서 비선형 의존성을 잘 처리한다.
• 10겹 교차검증과 조기 정지 기능을 갖춘 LightGBM을 사용한 결과, TCMI로 선별된 특성들은 안정적이고 일반화된 모델을 생성하며, 다양한 무작위 분할에 걸쳐 일관된 성능유지가 가능하다.