[논문 리뷰] Hierarchical correlation reconstruction with missing data, for example for biology-inspired neuron

Jarek Duda|arXiv (Cornell University)|2018. 04. 17.

Blind Source Separation Techniques참고 문헌 2인용 수 6

한 줄 요약

이 논문은 누락된 데이터가 있는 다차원 밀도 추정을 위한 계층적 상관관계 재구성 방법을 제안한다. 정규직교 다항식 기저를 사용하여 가용 데이터로부터 개별적인 근원, 이변량, 고차원 상관관계를 별도로 모델링한다. 이 방법은 전체 결합 확률 분포를 추정함으로써 정확한 데이터 보정을 가능하게 하며, 불확실성 인식 예측을 지원하고, 국소적 예측 및 얕은 학습을 위한 생물학적으로 영감을 받은 인공 신경세포로도 활용할 수 있다.

ABSTRACT

Machine learning often needs to model density from a multidimensional data sample, including correlations between coordinates. Additionally, we often have missing data case: that data points can miss values for some of coordinates. This article adapts rapid parametric density estimation approach for this purpose: modelling density as a linear combination of orthonormal functions, for which $L^2$ optimization says that (independently) estimated coefficient for a given function is just average over the sample of value of this function. Hierarchical correlation reconstruction first models probability density for each separate coordinate using all its appearances in data sample, then adds corrections from independently modelled pairwise correlations using all samples having both coordinates, and so on independently adding correlations for growing numbers of variables using often decreasing evidence in data sample. A basic application of such modelled multidimensional density can be imputation of missing coordinates: by inserting known coordinates to the density, and taking expected values for the missing coordinates, or even their entire joint probability distribution. Presented method can be compared with cascade correlations approach, offering several advantages in flexibility and accuracy. It can be also used as artificial neuron: maximizing prediction capabilities for only local behavior - modelling and predicting local connections.

연구 동기 및 목표

• 데이터 포인트의 좌표가 누락된 경우 다차원 밀도 추정의 과제를 해결하기 위해.
• 모든 결합 확률 분포를 모델링함으로써 근원 평균에 의존하지 않고 데이터 보정을 향상시키기 위해.
• 추정된 확률 밀도를 통해 불확실성과 모호성 있는 보정을 가능하게 하기 위해.
• 계층적 상관관계 항을 사용하여 누락된 데이터에서 국소적 상관관계를 모델링할 수 있는 유연하고 파rametric한 프레임워크를 개발하기 위해.
• 이 모델이 부분적인 입력으로부터 국소적 신호 패턴을 학습하고 예측하는 생물학적 신경세포의 유사체로 사용될 수 있는지 탐색하기 위해.

제안 방법

• 결합 확률 밀도를 [0,1]^d에서의 1차원 직교다항식의 곱인 정규직교 기저 함수의 선형 조합으로 모델링한다.
• L² 최적화를 통해 계수를 추정한다: 각 계수는 가용 데이터 포인트에서 해당 기저 함수의 표본 평균이다.
• 모델을 계층적으로 구축한다: 먼저 각 좌표의 근원 밀도를 추정하고, 그 다음에 모든 필수 좌표가 있는 데이터를 사용하여 이변량, 삼변량 등 상관관계를 추가한다.
• 기저 함수를 사용하여 {1,…,d}의 부분집합 C ⊆ 에 대해 상관관계를 표현한다. 각 함수는 C에 포함된 좌표 간의 의존성을 모델링한다.
• 각 상관관계 수준 별로 독립적으로 정규화 및 계수 추정을 수행함으로써 희소하고 효율적인 계산을 가능하게 한다.
• 신경세포 유사 아키텍처에서 새로운 연결 패턴이 나타날 경우, 새로운 함수를 추가함으로써 기저를 동적으로 적응시킨다.

실험 결과

연구 질문

• RQ1 누락된 좌표를 가진 불완전한 데이터로부터 다차원 확률 밀도를 효율적으로 재구성할 수 있는가?
• RQ2 계층적 상관관계 모델링이 근원 보정 또는 표준 방법에 비해 데이터 보정 정확도를 향상시킬 수 있는가?
• RQ3 추정된 전체 결합 확률 분포를 통해 보정의 불확실성과 모호성을 어떻게 포착할 수 있는가?
• RQ4 이 밀도 모델이 부분적인 신호로부터 국소적 입력을 예측함으로써 생물학적 신경세포의 功能적 유사체로 사용될 수 있는가?
• RQ5 이러한 국소적, 상관관계 기반 신경세포를 사용하는 딥 러닝 네트워크를 구축하기 위해 어떤 아키텍처 원칙이 필요한가?

주요 결과

• 이 방법은 누락된 좌표에 대한 전체 결합 확률 분포를 추정함으로써 정확한 데이터 보정을 가능하게 하며, 비선형 또는 군집화된 데이터(예: 원형)에서 단순 평균 보정보다 뛰어난 성능을 보인다.
• 이 모델은 이중 모드 분포(예: 원형 데이터의 포물선형 단면)와 같은 복잡한 구조를 포착할 수 있으며, 밀도 최소값을 통해 군집 인식 보정이 가능하다.
• 정규직교 기저의 계수는 표본 평균을 통해 독립적으로 추정 가능하므로, 희소 데이터에서도 빠르고 확장 가능한 계산이 가능하다.
• 이 방법은 불확실성 정량화를 지원한다: 단일 보정 값이 아니라 누락된 변수에 대한 전체 확률 분포를 제공한다.
• 이 모델은 새로운 신호 패턴이 나타날 경우 기저를 동적으로 적응시키는 특징을 지녀, 직접적으로 인공 신경세포로 사용할 수 있다.
• 계층적 구조는 높은 차수의 항에 대한 증거가 감소하는 것을 고려하여 상관관계를 민첩하게 모델링할 수 있게 하며, 전체 모델을 재학습하지 않고도 데이터 가용성에 맞게 적응할 수 있다.