[논문 리뷰] Score matching estimators for directional distributions

Kanti V. Mardia, John T. Kent외 1명|arXiv (Cornell University)|2016. 04. 28.

Morphological variations and asymmetry참고 문헌 20인용 수 22

한 줄 요약

이 논문은 구와 토러스와 같은 컴act한 올바른 방향을 가진 리만 다양체 위의 방향 분포에 대한 스코어 매칭 추정을 소개한다. 이는 정규화 상수를 고려하지 않아도 되는 일致하고 渐近적으로 정규분포를 띠는 추정기로, 볼츠만-피셔 및 바링거 모형에서 최대우도 추정과 유사한 효율성을 달성한다. 방법은 모멘트 기반 추정기로 선형 연립방정식을 풀어 하바르텐 디버전을 최소화하는 데 기반한다.

ABSTRACT

One of the major problems for maximum likelihood estimation in the well-established directional models is that the normalising constants can be difficult to evaluate. A new general method of "score matching estimation" is presented here on a compact oriented Riemannian manifold. Important applications include von Mises-Fisher, Bingham and joint models on the sphere and related spaces. The estimator is consistent and asymptotically normally distributed under mild regularity conditions. Further, it is easy to compute as a solution of a linear set of equations and requires no knowledge of the normalizing constant. Several examples are given, both analytic and numerical, to demonstrate its good performance.

연구 동기 및 목표

• 컴 pact한 리만 다각형 위의 방향 분포에 대한 최대우도 추정에서 발생하는 정규화 상수가 계산이 불가능한 문제를 해결하기 위해.
• 이전에 유클리드 공간에서 사용된 스코어 매칭 추정을 일반적인 컴 pact한 올바른 리만 다각형, 즉 구와 토러스 등으로 확장하기 위해.
• 수치적 통합을 통해 정규화 상수를 평가하는 데 드는 계산 비용을 피하면서도 통계적 일치성과 渐近 정규성을 유지하는 계산 효율성이 높은 추정기 개발을 위해.
• 볼츠만-피셔 및 피셔-바링거 분포와 같은 주요 방향 모형에서 최대우도 추정과 비교해 강한 유한표본 성능과 높은 효율성을 입증하기 위해.
• 기본 밀도에 대한 약한 정규성 조건 하에서 일치성과 渐近 정규성을 포함한 이론적 보장을 확립하기 위해.

제안 방법

• 정규화 상수의 필요성을 피하기 위해 스코어 함수와 그 기울기를 중심으로 하는 하바르텐의 디버전을 기반으로 한 스코어 매칭 추정기를 제안한다.
• 리만-벨트라미 연산자와 기울기 내적을 사용하여 컴 pact한 올바른 리만 다각형 위에서 스코어 매칭 기준을 유도함으로써 좌표 변환에 대해 불변성을 확보한다.
• 데이터의 경험적 모멘트와 다각형의 기하학적 구조를 포함한 선형 연립방정식의 해로 추정 문제를 표현한다.
• 필요 통계를 사용하여 구와 관련된 공간 위의 지수가족 모형, 즉 볼츠만-피셔 및 바링거 분포에 이 방법을 적용한다.
• 그라디언트를 통해 디버전을 리만-벨트라미 연산자로 연결하기 위해 스토크스 정리를 적용함으로써 계산 가능한 추정 방정식을 도출한다.
• 모멘트 기반 근사와 기하학적 제약 조건을 조합한 하이브리드 스코어 매칭 추정기를 도입하여 표본 수가 적은 경우의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 스코어 매칭 추정은 구와 토러스와 같은 컴 pact한 올바른 리만 다각형 위의 방향 분포로 체계적으로 확장될 수 있는가?
• RQ2 일치성, 渐近 정규성, 효율성 측면에서 스코어 매칭 추정기의 성능은 최대우도 추정과 어떻게 비교되는가?
• RQ3 스코어 매칭 추정기는 방향 모형에서 계산이 불가능한 정규화 상수를 평가하는 데 드는 계산 부담을 어느 정도 피할 수 있는가?
• RQ4 볼츠만-피셔 및 바링거 모형에서 스코어 매칭 추정기의 점근 상대 효율성은 최대우도 추정기와 비교해 어떻게 되는가?
• RQ5 스코어 매칭 추정기는 방향 모형에서 이중 모멘트 추정기로 해석될 수 있는가? 그리고 이러한 해석은 계산과 해석에 어떻게 기여하는가?

주요 결과

• 약한 정규성 조건 (A1)–(A2) 하에서 스코어 매칭 추정기는 일치하고 점근적으로 정규분포를 띤다. 이는 신뢰할 수 있는 추론을 보장한다.
• 정규화 상수의 지식이 전혀 필요 없으며, 선형 연립방정식의 해로 계산 가능하므로 대규모 또는 스트리밍 데이터 세트에 효율적으로 적용할 수 있다.
• 볼츠만-피셔 모형의 경우, 하이브리드 스코어 매칭 추정기의 점근 상대 효율성은 농도 파ameter가 작거나 크더라도 최대우도 추정과 비교해 1에 수렴한다.
• 볼츠만-피셔의 경우, 스코어 매칭 추정기는 충분통계량이 선형인 데도 불구하고 데이터의 이차 모멘트(예: $ \text{E}[z z^T] $)를 효과적으로 사용함으로써 이중 모멘트 구조를 갖는다.
• 고농도 영역에서 높은 효율성을 달성하며, 방향 분포가 근사적으로 정규분포를 띠는 것과 이론적 기대와 일치한다.
• 스코어 매칭 추정기의 $ \tilde{\boldsymbol{\theta}} $에 대한 점근 분산은 최대우도 추정기의 분산보다 크거나 같으며, 실제로는 특히 볼츠만의 경우 효율성이 종종 1에 가깝다.