[논문 리뷰] Fast Nonparametric Conditional Density Estimation

Michael P. Holmes, Alexander Gray외 1명|arXiv (Cornell University)|2012. 06. 20.

Data Management and Algorithms참고 문헌 10인용 수 37

한 줄 요약

이 논문은 최대 380만 배의 속도 향상을 이끌어내는 최대우도 기반 이중 커널 추정법과 이중수목 알고리즘을 활용해 조건부 밀도 추정을 위한 빠르고 비모수적 방법을 제안한다. 이를 통해 고차원 다변량 데이터(예: 슬론 디지털 스카이 서베이의 적색편이 예측 작업)에 대한 첫 번째 확장 가능한 응용이 가능해졌다.

ABSTRACT

Conditional density estimation generalizes regression by modeling a full density f(yjx) rather than only the expected value E(yjx). This is important for many tasks, including handling multi-modality and generating prediction intervals. Though fundamental and widely applicable, nonparametric conditional density estimators have received relatively little attention from statisticians and little or none from the machine learning community. None of that work has been applied to greater than bivariate data, presumably due to the computational difficulty of data-driven bandwidth selection. We describe the double kernel conditional density estimator and derive fast dual-tree-based algorithms for bandwidth selection using a maximum likelihood criterion. These techniques give speedups of up to 3.8 million in our experiments, and enable the first applications to previously intractable large multivariate datasets, including a redshift prediction problem from the Sloan Digital Sky Survey.

연구 동기 및 목표

• 고차원 환경에서 조건부 밀도 추정을 위한 확장 가능한 비모수적 방법의 부족을 해결한다.
• 다변량 조건부 밀도 추정에서 데이터 기반 밴드위드 선택의 계산 병목 현상을 극복한다.
• 대규모 실세계 다변량 데이터셋에 대한 비모수적 조건부 밀도 추정의 실용적 적용을 가능하게 한다.
• 통계적 정확도를 유지하면서 계산 시간을 극적으로 줄이는 효율적인 알고리즘을 개발한다.
• 은하계 데이터에서의 적색편이 예측과 같은 복잡한 고차원 문제에 대해 이 방법의 타당성을 입증한다.

제안 방법

• 모형 f(y|x)를 파rametric 가정 없이 추정하기 위한 비모수적 접근으로 이중 커널 조건부 밀도 추정법을 제안한다.
• 추정 정확도를 향상시키기 위해 데이터 기반 밴드위드 선택을 위한 최대우도 기준을 적용한다.
• 커널 조건부 밀도 추정과 밴드위드 선택의 계산을 가속화하기 위해 이중수목 알고리즘을 활용한다.
• 공간 분할 트리(예: k-d 트리 또는 볼 트리)를 활용해 커널 합산의 계산 복잡도를 감소시킨다.
• 트리 구조 내에서 빠른 다체 기법 유사 기법을 적용해 커널 합산을 효율적으로 근사한다.
• 트리 구조 내의 기하학적 희소성과 계층적 분해를 활용해 고차원 데이터로의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 고차원 다변량 데이터에 대해 비모수적 조건부 밀도 추정을 계산적으로 실현 가능하게 만들 수 있는가?
• RQ2 이중 커널 추정법에서 밴드위드 선택을 통계적 정확도를 훼손하지 않고 어떻게 가속화할 수 있는가?
• RQ3 이중수목 알고리즘을 활용한 조건부 밀도 추정의 밴드위드 선택에서 달성 가능한 최대 속도 향상은 얼마인가?
• RQ4 이 방법은 두 개 이상의 변수를 가진 실세계 대규모 데이터셋에 성공적으로 적용될 수 있는가?
• RQ5 고차원 데이터에서 속도와 추정 정확도 측면에서 기존 방법보다 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 이중수목 기반 밴드위드 선택은 난이도 계산 대비 최대 380만 배의 속도 향상을 달성한다.
• 이 방법은 슬론 디지털 스카이 서베이의 적색편이 예측 작업과 같은 고차원 다변량 데이터셋에 대한 비모수적 조건부 밀도 추정의 첫 번째 실용적 응용을 가능하게 한다.
• 이중 커널 추정법은 파라미터 모델이 놓칠 수 있는 복잡한 다모드 조건부 밀도를 성공적으로 포착한다.
• 밴드위드 선택을 위한 최대우도 기준은 히وري스틱 또는 고정 밴드위드 접근 방식보다 더 높은 추정 정확도를 제공한다.
• 이전 비모수적 방법의 주요 한계를 극복하고, 두 개 이상의 입력 변수를 가진 데이터셋으로도 효과적으로 확장 가능하다.
• 실험 결과, 이 방법은 런타임을 극적으로 줄이면서도 높은 예측 정확도를 유지함으로써 실세계 응용에 실현 가능함을 입증한다.