[논문 리뷰] Estimating Information-Theoretic Quantities with Random Forests.

Richard Guo, Cencheng Shen외 1명|arXiv (Cornell University)|2019. 06. 30.

Neural Networks and Applications인용 수 2

한 줄 요약

이 논문은 상호정보량과 조건부 엔트로피와 같은 정보이론적 양의 비모수적 추정을 향상시키기 위해 분위수 회귀 숲과 정직한 표본 추출 및 유한표본 보정을 조합한 랜덤 숲 기반 방법인 조건부 숲(Conditional Forests, CF)을 제안한다. CF는 저차원 및 고차원 설정에서 모두 편향과 분산을 감소시키며, 특히 혼합 연속-이산 데이터에서 뛰어난 성능을 보이며, 세포 특징으로부터 뉴런 유형 정보를 추정하는 데에도 강력한 성능을 보인다.

ABSTRACT

Information-theoretic quantities, such as mutual information and conditional entropy, are useful statistics for measuring the dependence between two random variables. However, estimating these quantities in a non-parametric fashion is difficult, especially when the variables are high-dimensional, a mixture of continuous and discrete values, or both. In this paper, we propose a decision forest method, Conditional Forests (CF), to estimate these quantities. By combining quantile regression forests with honest sampling, and introducing a finite sample correction, CF improves finite sample bias in a range of settings. We demonstrate through simulations that CF achieves smaller bias and variance in both low- and high-dimensional settings for estimating posteriors, conditional entropy, and mutual information. We then use CF to estimate the amount of information between neuron class and other ceulluar feautres.

연구 동기 및 목표

• 기존 비모수적 방법이 고차원 및 혼합형(연속형 및 이산형) 데이터에서 높은 편향과 분산을 야기하는 문제를 해결하기 위해 정보이론적 양을 추정하는 데 도전한다.
• 복잡한 데이터 설정에서 상호정보량, 조건부 엔트로피 및 사후 확률의 유한표본 추정 정확도를 향상시키기 위해 노력한다.
• 분위수 회귀 숲과 정직한 표본 추출 및 유한표본 보정을 조합한 강력하고 유연한 프레임워크를 개발하여 통계적 신뢰성을 높인다.
• 다양한 시뮬레이션 시나리오에서 방법의 성능을 평가하고, 실제 생물학적 데이터에 적용하여 뉴런 세포 유형 간의 정보 전달을 정량화한다.
• 모수적 가정이 불가능한 설정에서 변수 간 의존성 추정을 위한 실용적이고 확장 가능한 도구를 제공한다.

제안 방법

• 조건부 숲(CF)은 조건부 분포를 모델링하기 위해 분위수 회귀 숲을 통합하여 사후 확률과 조건부 엔트로피의 비모수적 추정을 가능하게 한다.
• 이 방법은 훈련과 분할을 별도의 데이터 서브셋에서 수행하는 정직한 표본 추출을 사용하여 과적합을 줄이고 일반화 성능을 향상시킨다.
• 작은 표본에서의 편향을 보정하기 위해 유한표본 보정을 적용하며, 이는 고차원 또는 희소 데이터 영역에서 특히 중요하다.
• CF는 동일한 숲 구조에서 유도된 조건부 엔트로피와 변동 엔트로피 추정치를 조합하여 상호정보량을 추정한다.
• 불순도 감소를 기반으로 한 재귀적 이진 분할을 통해 특징 공간을 적응적으로 분할하며, 이는 정보이론적 양수를 최적화하기 위해 설계되었다.
• 동일한 숲 프레임워크 내에서 연속형 및 이산형 변수에 적합한 분할 규칙를 사용함으로써 혼합형 특징을 지원한다.

실험 결과

연구 질문

• RQ1 기존 비모수적 방법에 비해 랜덤 숲 기반 접근법이 상호정보량 추정에서 유한표본 편향을 줄일 수 있는가?
• RQ2 저차원 및 고차원 데이터 설정에서 조건부 숲(CF)의 조건부 엔트로피 추정 성능이 기준 방법에 비해 어떻게 비교되는가?
• RQ3 유한표본 보정이 작은 또는 희소 데이터 세트에서 추정 정확도를 얼마나 향상시키는가?
• RQ4 실제 생물학적 데이터에서 CF는 뉴런 유형과 다른 세포 특징 간의 정보 전달을 얼마나 잘 추정하는가?
• RQ5 CF는 데이터 변환이나 모수적 가정 없이도 혼합 연속-이산 데이터 유형을 효과적으로 처리할 수 있는가?

주요 결과

• CF는 저차원 및 고차원 시뮬레이션 설정에서 모두 기준 비모수적 방법에 비해 상호정보량 추정에서 편향과 분산을 크게 감소시킨다.
• 유한표본 보정은 작은 표본 영역에서의 편향을 효과적으로 완화하며, 특히 조건부 엔트로피와 사후 확률 추정 정확도를 향상시킨다.
• CF는 표준 랜덤 숲과 다른 비모수적 추정기보다 정보이론적 양수를 추정하는 데서 뛰어난 성능을 보이며, 특히 연속형 및 이산형 변수가 혼합된 데이터에서 두드러진다.
• 실제 생물학적 응용에서 CF는 뉴런 유형과 다양한 세포 특징 간의 정보 전달량을 성공적으로 정량화하여 실용적 유용성을 입증했다.
• CF는 고차원 및 희소 데이터를 포함한 다양한 데이터 분포와 특징 유형에서 강력한 성능을 유지한다.
• CF의 정직한 표본 추출은 더 신뢰할 수 있는 분산 추정과 향상된 외부 표본 성능에 기여한다.