[논문 리뷰] Kullback-Leibler Divergence for the Normal-Gamma Distribution

Joram Soch, Carsten Allefeld|arXiv (Cornell University)|2016. 11. 04.

Image and Signal Denoising Methods참고 문헌 3인용 수 21

한 줄 요약

이 논문은 정규-감마 분포에 대한 쿨백-라이블러(KL) 발산을 유도하며, 이는 공액 사전분포를 가진 단변량 일반선형모형에서 베이지안 복잡도 페널티와 동일하다고 보여준다. 이 방법은 정확도와 복잡도의 균형을 이루는 모델 선택을 가능하게 하여, 시뮬레이션 및 fMRI 데이터에서 정확도 중심 기준보다 뛰어난 성능을 보이며, 정확도가 낮음에도 불구하고 파라미터 모델이 인과 모형보다 뛰어난 모델 증거를 보였음을 확인한다.

ABSTRACT

We derive the Kullback-Leibler divergence for the normal-gamma distribution and show that it is identical to the Bayesian complexity penalty for the univariate general linear model with conjugate priors. Based on this finding, we provide two applications of the KL divergence, one in simulated and one in empirical data.

연구 동기 및 목표

• 정규 및 감마 분포를 가진 변수들에 대한 결합분포인 정규-감마 분포에 대한 쿨백-라이블러(KL) 발산을 유도하는 것.
• 이 KL 발산이 공액 사전분포를 가진 단변량 일반선형모형에서 베이지안 복잡도 페널티와 일치함을 입증하는 것.
• 모델 정확도와 복잡도를 비교하여 시뮬레이션 및 실증 신경영상 데이터에서 KL 발산의 유용성을 보여주는 것.
• 정확도 외에도 복잡도를 포함한 로그 모델 증거 기반 모델 선택이 정확도만으로는 식별할 수 없는 차이를 감지할 수 있음을 보여주는 것.

제안 방법

• x에 대한 y 조건부 다변량 정규분포 KL 발산과 y에 대한 단변량 감마분포 KL 발산으로 분해하여 두 정규-감마 분포 간의 KL 발산을 유도함.
• 다변량 정규분포 및 단변량 감마분포 KL 발산에 대한 기존의 폐쇄형 표현식을 사용하고, 감마분포 정밀도 파라미터 y에 대한 기대값을 계산함.
• 유도된 KL 발산을 베이지안 모델 증거에 복잡도 페널티로 적용하여 로그 모델 증거(LME)를 통한 모델 비교를 가능하게 함.
• fMRI 세션 간 교차검증을 수행하여 두 경쟁 모델인 인과 GLM(GLM I)과 파라미터 모델(GLM II)의 교차검증 로그 모델 증거(cvLME), 정확도, 복잡도를 계산함.
• paired t-검정을 사용하여 GLM II가 GLM I보다 유의미하게 높은 cvLME를 보이지만 정확도가 낮은 화소를 식별함으로써 복잡도 기반의 모델 우월성을 분리함.
• V4에서 시각적 방향 대비 fMRI 실험 데이터를 분석하고, 로컬라이저에서 추출한 마스크를 사용하여 피험자 간 피크 화소에서 모델 증거, 정확도, 복잡도를 추출함.

실험 결과

연구 질문

• RQ1 정규-감마 분포에 대한 KL 발산은 공액 사전분포를 가진 단변량 일반선형모형에서 베이지안 복잡도 페널티와 일치하는가?
• RQ2 KL 발산 기반의 복잡도 페널티는 AIC나 BIC와 같은 정확도 중심 기준을 넘어서 모델 선택을 향상시킬 수 있는가?
• RQ3 신경영상 데이터에서 정확도가 유사하거나 낮을 경우, 파라미터 모델(GLM II)이 인과 모델(GLM I)보다 로그 모델 증거에서 뛰어나게 되는가?
• RQ4 선구분과 후행분포 간 KL 발산으로 측정된 모델 복잡도는 정확도만으로는 드러나지 않는 모델 차이를 감지할 수 있는가?

주요 결과

• 정규-감마 분포에 대한 KL 발산은 y 조건부 다변량 정규분포 KL 발산과 단변량 감마분포 KL 발산의 합으로 분해되며, 첫 번째 항은 y에 대한 기대값을 취한 것으로 유도됨.
• 유도된 KL 발산은 공액 사전분포를 가진 단변량 일반선형모형에서의 베이지안 복잡도 페널티와 정확히 일치함을 확인하여, 이가 모델 증거에서 이론적 역할을 수행함을 검증함.
• 시뮬레이션 데이터에서 KL 발산은 모델 간 상대적 정보량을 성공적으로 측정하여, 모델 비교에의 활용 가능성을 뒷받침함.
• 실증 fMRI 데이터에서 GLM II는 정확도가 낮음에도 불구하고 교차검증 로그 모델 증거(ΔL = 4.24)가 GLM I보다 높았으며, 이는 복잡도 우월성을 시사함.
• 선구분과 후행분포 간 KL 발산으로 측정된 모델 복잡도는 GLM I가 항상 더 높았음(ΔCom = -6.02), 이는 GLM II의 뛰어난 성능이 더 나은 복잡도 제어에서 기인함을 보여줌.
• 결과적으로 정확도와 복잡도를 모두 포함한 로그 모델 증거 기반 모델 선택이 정확도만으로는 식별할 수 없는 의미 있는 모델 차이를 감지할 수 있음을 입증함.