[논문 리뷰] Understanding a Version of Multivariate Symmetric Uncertainty to assist in Feature Selection

Gustavo Sosa-Cabrera, Miguel García-Torres외 3명|arXiv (Cornell University)|2017. 09. 25.

Data Mining Algorithms and Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 고차원 데이터셋에서 특성 선택 시 다변량 대칭 불확실성(MSU) 측정치의 편향을 조사하며, 단변량 및 다변량 기수, 그리고 표본 크기가 MSU의 신뢰성에 결정적인 영향을 미친다는 것을 밝혀냈다. 이는 비정보성 또는 중복되는 특성이 포함된 고차원 데이터셋에서도 정보성 특성을 정확하게 탐지할 수 있도록 편향을 제어하기 위한 경험적 규칙—표본 크기 ≈ 10 × |class| × ∏|fi|—을 제안한다.

ABSTRACT

In this paper, we analyze the behavior of the multivariate symmetric uncertainty (MSU) measure through the use of statistical simulation techniques under various mixes of informative and non-informative randomly generated features. Experiments show how the number of attributes, their cardinalities, and the sample size affect the MSU. We discovered a condition that preserves good quality in the MSU under different combinations of these three factors, providing a new useful criterion to help drive the process of dimension reduction.

연구 동기 및 목표

• 고차원 데이터셋에서 특성 선택 시 다변량 대칭 불확실성(MSU)의 편향을 분석하는 것.
• 단변량 및 다변량 기수, 그리고 표본 크기가 MSU가 정보성 특성과 비정보성 특성을 구분하는 데 미치는 영향을 규명하는 것.
• MSU 기반 특성 선택에서 편향을 최소화할 수 있는 실용적인 표본 크기 기준을 개발하는 것.
• 다양한 기수와 표본 크기 조합에서 몬테카를로 시뮬레이션을 통해 제안된 기준을 검증하는 것.

제안 방법

• 연구는 알려진 정보성 및 비정보성 특성을 가진 인위적 데이터셋을 생성하기 위해 몬테카를로 시뮬레이션을 사용한다.
• MSU는 공식 MSU(X₁:n) = (n/(n−1)) × [C(X₁:n) / ΣH(Xi)]를 사용하여 평가되며, 여기서 C는 총상관관계이고 H는 엔트로피이다.
• 단변량 기수는 특성 내 고유 레이블 수로 정의되며, 다변량 기수는 클래스를 포함한 특성 간의 레이블 조합 수이다.
• 표본 크기를 고정한 경우와 계산된 표본 크기를 사용한 경우의 MSU 값을 비교하며, 규칙 표본 크기 ≈ 10 × |class| × ∏|fi|를 적용한다.
• 시뮬레이션은 클래스 기수(2에서 10), 특성 기수(2에서 64), 표본 크기(1000에서 5000)를 변화시켜 정보성 및 비정보성 특성에서의 MSU 행동을 평가한다.
• 분석은 비정보성 특성에서의 MSU 편향 탐지 및 진정한 상호작용을 탐지하는 데서의 성능 평가에 집중한다.

실험 결과

연구 질문

• RQ1 단변량 및 다변량 기수가 비정보성 특성에서 MSU의 편향에 어떻게 영향을 미치는가?
• RQ2 다양한 기수와 특성 수 조합에서 신뢰할 수 있는 MSU 값을 확보하기 위해 필요한 표본 크기는 얼마인가?
• RQ3 저기수 특성의 수를 늘리면 고기수 특성 수를 줄였을 때와 유사한 MSU 값을 얻을 수 있는가?
• RQ4 특성 간 상호작용(예: XOR 유형 관계)이 존재할 경우, 다양한 표본 크기에서 MSU는 어떻게 행동하는가?
• RQ5 다변량 기수와 표본 크기를 연관지켜 MSU 편향을 제어할 수 있는 규칙를 유도할 수 있는가?

주요 결과

• 비정보성 특성의 MSU 값은 단변량 및 다변량 기수가 높아질수록 증가하며, 이는 측정치에 심각한 편향이 있음을 시사한다.
• 표본 크기가 약 다변량 기수의 10배(즉, 10 × |class| × ∏|fi|)일 경우, MSU는 통제된 편향과 안정적인 성능을 보인다.
• 비정보성 특성의 경우, 단변량 기수가 증가함에 따라 MSU 값이 급격히 상승하며, 특히 표본 크기가 고정되어 있을 경우 더욱 두드러진다.
• 표본 크기를 고정(예: 1000)한 경우, 비정보성 특성의 MSU 값은 진정한 상관관계가 없더라도 단변량 기수가 증가함에 따라 일관되게 높아진다.
• 제안된 규칙(표본 크기 ≈ 10 × |class| × ∏|fi|)은 특히 많은 저기수 특성을 포함한 고차원 환경에서 편향을 효과적으로 억제한다.
• 표본 크기가 부족할 경우 고기수 특성에서 MSU 성능이 저하되나, 이 규칙을 적용하면 성능이 크게 향상된다.