[논문 리뷰] $k$-NN Estimation of Directed Information

Yonathan Murin|arXiv (Cornell University)|2017. 11. 22.

Neural Networks and Applications참고 문헌 22인용 수 9

한 줄 요약

이 논문은 이산 시간, 연속 진폭 확률적 과정 간의 유도 정보(DI)를 위한 두 가지 k-NN 기반 추정기들을 제안한다. 이는 다양한 노름 하에서 최근접 이웃 거리를 활용하여 추정한다. 이 방법은 비모수적이고 선형 및 비선형 인과적 영향을 탐지할 수 있게 하며, 수치 결과는 작은 표본 크기(N=3000)에서도 정확한 추정을 가능하게 하며, 기존의 JVHW 및 GOV 방법보다 인과적 방향성과 강도를 더 잘 포착함을 보여준다.

ABSTRACT

This report studies data-driven estimation of the directed information (DI) measure between two{em discrete-time and continuous-amplitude} random process, based on the $k$-nearest-neighbors ($k$-NN) estimation framework. Detailed derivations of two $k$-NN estimators are provided. The two estimators differ in the metric based on which the nearest-neighbors are found. To facilitate the estimation of the DI measure, it is assumed that the observed sequences are (jointly) Markovian of order $m$. As $m$ is generally not known, a data-driven method (that is also based on the $k$-NN principle) for estimating $m$ from the observed sequences is presented. An exhaustive numerical study shows that the discussed $k$-NN estimators perform well even for relatively small number of samples (few thousands). Moreover, it is shown that the discussed estimators are capable of accurately detecting linear as well as non-linear causal interactions.

연구 동기 및 목표

• 연속 진폭 시간 시리즈 간의 유도 정보(DI)를 위한 비모수적이고 데이터 기반의 추정기를 개발하기 위해.
• 기존의 그랜저 인과성 기반 방법이 비선형성 또는 모형 가정 부족으로 실패하는 상황에서 인과적 영향을 추정하는 데 도전하기 위해.
• 지역 밀도 근사치를 근접 이웃 거리로 이용하여 복잡한 의존성에 강건한 k-NN 기반 프레임워크를 제공하기 위해.
• 일반적으로 실무에서 알려져 있지 않은 기저 과정의 마르코프 차수 m을 데이터 기반으로 추정하는 방법을 도입하기 위해.
• 다양한 노이즈 수준과 결합 강도에서 선형 및 비선형 인과 상호작용을 탐지하는 데 있어 제안된 추정기의 성능을 평가하기 위해.

제안 방법

• ℓp-노름 공간에서 k-NN 거리를 사용하여 미분 엔트로피를 추정하며, k번째 최근접 이웃 거리를 지역 밀도를 근사하는 데 사용한다.
• k-NN 프레임워크를 확장하여 결합 및 주변 공간의 최근접 이웃 거리를 조합함으로써 랜덤 벡터 간의 상호정보량(MI)을 추정한다.
• 공정한 마르코프 차수 m을 가정하는 두 시간 시리즈 간의 유도 정보(DI)를 계산하기 위해 k-NN MI 추정기를 적용한다.
• 데이터로부터 마르코프 차수 m을 추정하기 위한 k-NN 기반 절차를 사용하여 과거 기억에 대한 사전 지식 의존도를 줄인다.
• 최근접 이웃 거리 계산에 사용되는 ℓp-노름(예: ℓ1 대비 ℓ2)의 차이에 따라 두 가지 변형된 k-NN 추정기를 도입하여 강건성 분석을 가능하게 한다.
• 기존의 방법들인 JVHW 및 GOV와 비교하여 알려진 인과적 구조를 가진 시뮬레이션 시간 시리즈에서 추정기의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 비모수적이고 동역학이 알려져 있지 않은 연속 진폭 시간 시리즈에서 k-NN 기반 추정기가 효과적으로 유도 정보를 추정할 수 있는가?
• RQ2 제안된 k-NN 추정기는 선형 및 비선형 결합 상황에서 인과적 영향을 얼마나 정확하게 탐지할 수 있는가?
• RQ3 특히 작은 데이터셋(N=3000)에서 노이즈 수준과 표본 크기가 다양할 경우 k-NN 추정기의 성능은 어떠한가?
• RQ4 진짜 차수가 알려져 있지 않은 실무 환경에서 마르코프 차수 m의 데이터 기반 추정 성능은 얼마나 우수한가?
• RQ5 기존 방법들(JVHW, GOV, GC 등)과 비교할 때 k-NN 추정기는 인과적 방향성과 강도 탐지에 있어 어떤가?

주요 결과

• 선형 결합 모델에서 X에서 Y로의 인과적 영향이 증가함에 따라 결합 강도 β가 증가함에 따라 k-NN 추정기는 정확하게 이를 탐지한다. β > 0.7일 때는 유도 정보(DI)가 급격히 감소하며, 이는 결정론적 동기화 상태에 해당한다.
• 시그모이드 결합 모델의 경우, k-NN 추정기는 β 증가에 따라 X에서 Y로의 DI가 증가함을 정확히 식별하지만, Y에서 X로의 DI는 무시할 만큼 낮게 추정하여 이론적 기대와 일치한다.
• k-NN 추정기는 β > 0.7에서 인과적 영향 감소를 GOV 및 JVHW 추정기보다 더 잘 포착한다. 특히 JVHW 추정기는 이 감소를 탐지하지 못한다.
• 고노이즈 상황(γ = 0.3)에서도 k-NN 추정기는 일관된 인과적 영향 추정을 유지하며 강건성을 보이지만, GC 추정기는 명백한 비선형 결합에도 불구하고 유의미한 인과성을 탐지하지 못한다.
• k-NN 기반 마르코프 차수 m 추정 방법은 효과적이며 추정 파이프라인에 원활하게 통합되어 전체적인 강건성을 향상시킨다.
• k-NN 추정기는 오직 3000개의 표본만으로도 뛰어난 성능을 보이며, 제한된 데이터를 가진 실세계 응용에 적합함을 시사한다.