[논문 리뷰] AIMS:Average Information Matrix Splitting

Shengxin Zhu, Tong-Xiang Gu외 1명|arXiv (Cornell University)|2016. 05. 24.

Statistical Mechanics and Entropy참고 문헌 18인용 수 4

한 줄 요약

이 논문은 선형 혼합 모델을 위한 계산 방법인 AIMS(Average Information Matrix Splitting)을 소개한다. 이 방법은 관측 정보 행렬과 피셔 정보 행렬의 평균을 계산적으로 단순한 핵심 부분과 무시할 수 있는 랜덤 영행렬으로 분할한다. 주요 기여는 분산-공분산 행렬이 분산 성분에 대해 선형적으로 의존하지 않을 경우에도 핵심 부분이 해석적으로 다룰 수 있고 계산적으로 효율적이며, 특히 게놈 전역 연관 분석과 같은 대규모 모델에서 분산 매개변수 추정의 비용을 크게 감소시킨다는 것이다.

ABSTRACT

For linear mixed models with co-variance matrices which are not linearly dependent on variance component parameters, we prove that the average of the observed information and the Fisher information can be split into two parts. The essential part enjoys a simple and computational friendly formula, while the other part which involves a lot of computations is a random zero matrix and thus is negligible.

연구 동기 및 목표

• 대규모 선형 혼합 모델에서 최대우도 추정 시 관측 정보 행렬을 평가하는 데 드는 높은 계산 비용을 해결하기 위해.
• 선형적으로 의존하는 공분산 행렬을 가진 모델을 넘어서 평균 정보 행렬 분할 기법을 확장하기 위해.
• 헤시안 근사의 단순화를 통해 피셔-스코링 알고리즘에 대한 계산적으로 효율적인 대안을 제공하기 위해.
• 게놈 전역 연관 분석과 같은 고속 통계 응용 분야에서의 확장 가능한 추론을 가능하게 하기 위해.

제안 방법

• 관측 정보 행렬과 피셔 정보 행렬의 평균을 핵심 부분과 나머지 부분으로 분할하는 방법을 제안한다.
• 잔여 로그우도와 투영 행렬 P를 사용하여 평균 정보 행렬의 핵심 부분에 대한 해석적 표현을 유도한다.
• 나머지 부분이 기대값에서 랜덤 영행렬이 되며, 추정에 있어 무시할 수 있음을 보여준다.
• 자기 일관성과 추적 및 이차형식 계산을 단순화하기 위해 항등식 P = H⁻¹ − H⁻¹X(XᵀH⁻¹X)⁻¹XᵀH⁻¹를 사용한다.
• 반복 기대값의 법칙과 행렬 추적 항등식을 적용하여 나머지 부분의 기대값이 0임을 증명한다.
• 핵심 부분이 기대값에서 피셔 정보 행렬과 일치함을 입증함으로써 통계적 일致성을 확보한다.

실험 결과

연구 질문

• RQ1 비선형적으로 의존하는 공분산 행렬을 가진 선형 혼합 모델에서 평균 정보 행렬을 계산적으로 단순한 부분과 무시할 수 있는 나머지 부분으로 효과적으로 분할할 수 있는가?
• RQ2 분산-공분산 행렬이 매개변수에 대해 선형이 아닐 경우에도 평균 정보 행렬의 나머지 부분이 기대값에서 사라지는가?
• RQ3 통계적 정확도를 훼손하지 않고 최대우도 추정에서 헤시안 평가의 계산 부담을 어떻게 줄일 수 있는가?
• RQ4 대규모 모델에서 효율적인 분산 매개변수 추정을 위해 평균 정보 행렬의 핵심 부분이 충분한가?
• RQ5 복잡한 유전적 또는 공간 모델과 같이 선형으로 매개변수화된 공분산 구조를 초월하여 AIMS 프레임워크를 적용할 수 있는가?

주요 결과

• 평균 정보 행렬은 간단한 해석적 공식을 가진 핵심 부분과 기대값에서 랜덤 영행렬인 나머지 부분으로 분해될 수 있다.
• 핵심 부분은 계산적으로 효율적이며, 고비용의 헤시안 평가를 피한다.
• 나머지 부분은 기대값이 0이므로, 공분산 행렬이 분산 매개변수에 대해 선형이 아니더라도 추정에 있어 무시할 수 있다.
• 핵심 부분은 기대값에서 피셔 정보 행렬과 일치하므로 통계적 효율성을 유지한다.
• 이 방법은 대규모 선형 혼합 모델에서 최대우도 추정의 계산 비용을 크게 감소시킨다.
• 이 접근법은 게놈 전역 연관 분석과 같은 고차원 설정에서의 확장 가능한 추론을 가능하게 한다.