[논문 리뷰] Information Matrix Splitting

Shengxin Zhu, Tong-Xiang Gu외 1명|arXiv (Cornell University)|2016. 05. 24.

Neural Networks and Applications참고 문헌 12인용 수 5

한 줄 요약

이 논문은 선형 혼합 모델에 대한 정보 행렬 분할 기법을 제안하며, 관측 정보와 피셔 정보의 평균을 단순화된 결정론적 성분과 무시할 수 있는 랜덤 영행렬로 분해한다. 이 방법은 통계적 정확성을 유지하면서도 고속 생물학적 데이터에서 비용이 많이 드는 헤시안 행렬 계산을 피할 수 있는 계산적으로 다루기 쉬운 공식을 활용하여 효율적인 헤시안 행렬 근사화를 가능하게 한다.

ABSTRACT

Efficient statistical estimates via the maximum likelihood method requires the observed information, the negative of the Hessian of the underlying log-likelihood function. Computing the observed information is computationally prohibitive for high-throughput biological data, therefore, the expected information matrix---the Fisher information matrix---is often preferred due to its simplicity. In this paper, we prove that the average of the observed and the Fisher information of restricted/residual log-likelihood functions for linear mixed models can be split into two matrices. The expectation of one part is the Fisher information matrix but enjoys a simper formula than the Fisher information matrix. The other part which involves a lot of computations is a random zero matrix and thus is negligible. Leveraging such a splitting can simplify evaluation of the approximate Hessian of a log-likelihood function.

연구 동기 및 목표

• 고속 생물학적 데이터 분석에서 관측 정보 행렬을 계산하는 데 있어 계산적으로 불가능한 문제를 해결하기 위해.
• 통계적 정확성을 유지하면서도 관측 정보 행렬의 계산적으로 효율적인 대체 방법을 개발하기 위해.
• 관측 정보 행렬과 피셔 정보 행렬의 평균이 처리 가능한 성분과 무시할 수 있는 랜덤 성분으로 분해될 수 있음을 증명하기 위해.
• 제한된/잔여 로그우도 설정에서 로그우도 함수의 근사 헤시안을 단순화하기 위해.

제안 방법

• 방법은 관측 정보 행렬과 피셔 정보 행렬의 평균을 두 부분으로 분할한다: 결정론적 부분과 랜덤 부분.
• 결정론적 부분은 피셔 정보 행렬과 같은 기댓값을 가지지만, 표준 피셔 정보보다 더 단순한 공식을 가진다.
• 랜덤 부분은 기댓값이 영행렬임을 보여주며, 큰 표본에서 무시할 수 있다.
• 이 접근법은 선형 혼합 모델에서 제한된 및 잔여 로그우도 함수의 성질을 활용한다.
• 분할 덕분에 직접 헤시안 행렬 계산을 피하면서도 단순화된 결정론적 성분을 헤시안의 대체로 사용할 수 있다.

실험 결과

연구 질문

• RQ1 고차원 선형 혼합 모델에서 관측 정보 행렬을 효율적으로 근사화할 수 있는가?
• RQ2 관측 정보 행렬과 피셔 정보 행렬의 평균이 헤시안 평가를 단순화하는 분해를 허용하는가?
• RQ3 분할된 정보 행렬의 랜덤 성분이 기댓값에서 무시할 수 있는가?
• RQ4 단순화된 결정론적 성분이 우도 기반 추론에서 전체 헤시안을 대체할 수 있는가?

주요 결과

• 관측 정보 행렬은 고속 생물학적 데이터에서 계산적으로 금기이므로, 효율적인 대체 방법이 필요하다.
• 관측 정보 행렬과 피셔 정보 행렬의 평균은 결정론적 성분과 랜덤 영행렬로 분해될 수 있다.
• 결정론적 성분은 피셔 정보 행렬과 같은 기댓값을 가지지만, 표준 피셔 정보보다 더 단순한 공식을 가진다.
• 랜덤 성분은 기댓값에서 무시할 수 있으며, 통계적 정확도를 잃지 않고 생략할 수 있다.
• 단순화된 결정론적 성분은 로그우도 함수의 헤시안에 대한 효율적이고 정확한 근사값을 제공한다.