[논문 리뷰] Generalized Score Matching for Non-Negative Data

Shiqing Yu, Mathias Drton외 1명|PubMed|2018. 12. 26.

Statistical Methods and Inference참고 문헌 19인용 수 41

한 줄 요약

본 연구는 비음수 데이터에 대한 score matching을 일반화하여 정상화 상수가 계산 불가능한 지수 가족 그래프 모델에서 매개변수 추정 성능을 개선하고, 이론적 보장을 갖는 정규화 추정량을 개발한다.

ABSTRACT

A common challenge in estimating parameters of probability density functions is the intractability of the normalizing constant. While in such cases maximum likelihood estimation may be implemented using numerical integration, the approach becomes computationally intensive. The score matching method of Hyvärinen (2005) avoids direct calculation of the normalizing constant and yields closed-form estimates for exponential families of continuous distributions over <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow><mml:msup><mml:mi>R</mml:mi> <mml:mi>m</mml:mi></mml:msup> </mml:mrow> </mml:math> . Hyvärinen (2007) extended the approach to distributions supported on the non-negative orthant, <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"> <mml:mrow><mml:msubsup><mml:mi>R</mml:mi> <mml:mo>+</mml:mo> <mml:mi>m</mml:mi></mml:msubsup> </mml:mrow> </mml:math> . In this paper, we give a generalized form of score matching for non-negative data that improves estimation efficiency. As an example, we consider a general class of pairwise interaction models. Addressing an overlooked inexistence problem, we generalize the regularized score matching method of Lin et al. (2016) and improve its theoretical guarantees for non-negative Gaussian graphical models.

연구 동기 및 목표

• 정규화 상수가 다루기 어려울 때 밀도 추정의 도전과제를 동기화한다.
• Hyvärinen의 비음수 score matching을 일반화된 h-score 매칭 프레임워크로 도입한다.
• 고차원 그래프 모델을 위한 정규화된 일반화된 score matching을 개발한다.
• R_+^m에서 쌍상호작용 파워 모델에 방법을 적용하고 이론적 보장을 확립한다.
• 시뮬레이션 및 RNA-seq 데이터 분석을 통해 일관성과 실용적 성능을 입증한다.

제안 방법

• 비음수 데이터에 대해 양의 구성요소 함수 h_j를 갖는 일반화된 h-score 매칭 손실 J_h를 정의한다.
• 경미한 조건하에서 J_h가 P_0에 의해 고유하게 최소화되고 p_0에 독립적인 기대값으로 다시 쓸 수 있음을 보인다.
• 지수 가족의 경우 경험적 손실이 고전 매개변수 θ에 대해 이차함수로 나타나 정규화 상수를 계산하지 않고도 해를 얻을 수 있음을 보인다.
• 대각 보강을 추가하여 2차 형태를 강볼록하게 만들어 고차원에서의 정규화된 추정치를 도입한다.
• l1 페널티를 갖는 정규화된 추정량을 도출하고 고유한 극값을 얻으며 그 일관성을 분석한다.
• 단변수 절단 정규분포를 포함한 특수한 경우를 논의하여 추정량과 그渐近적 성질을 설명한다.

실험 결과

연구 질문

• RQ1 점근적으로 모수의 추정에서 정상화 상수가 다루기 어려운 경우 점수 매칭을 어떻게 일반화하여 비음수 데이터를 효율적으로 다룰 수 있는가?
• RQ2 경계 완화 함수 h_j의 어떤 선택이 비음수 그래프 모델의 추정 효율성을 향상시키는가?
• RQ3 정규화된 일반화된 score matching이 고차원 비음수 그래프 모델에 대해 일관된 추정량을 제공하는가?
• RQ4 일반화된 score matching은 R_+^m의 쌍상호작용 파워 모델 및 관련 절단된 GGM에서 어떻게 작동하는가?
• RQ5 제안된 추정량의 이론적 및 경험적 특성(일관성, 점근적 분포, 견고성)은 무엇인가?

주요 결과

• 일반화된 h-score 매칭 손실은 경계 완화를 갖춘 비음수 목적함수를 제공하며, 충분한 조건하에서 그 최소화해는 고유하게 P_0이다.
• 지수 가족의 경우 경험적 손실은 고전 매개변수들에 대해 2차이므로 정규화 상수를 계산하지 않고도 닫힌 형식의 추정치를 얻을 수 있다.
• 2차 형태에 작은 대각 보강을 추가하면 고차원에서 손실이 유계적이고 강볼록하게 되어 임계값 하에서 일관성을 유지한다.
• l1 페널티를 갖는 정규화된 일반화된 score matching은 고유한 극값을 만들고 비음수 그래프 모델의 고차원 추정에 적합하다.
• 특수한 경우들(단변수 절단 정규분포)에 대해 일관된 추정과 경계가 제한되거나 느리게 증가하는 h 함수 사용 시의 효율성 향상을 보여준다.
• 이 방법론은 절단 가우시안 그래프 모델 및 제곱근 모델을 포함한 R_+^m의 광범위한 쌍상호작용 모델로 확장되며, 이론적 보장과 경험적 검증을 제공한다.