[논문 리뷰] Bayesian Information Criterion for Linear Mixed-effects Models

Nan Shen, B. Álvarez González|arXiv (Cornell University)|2021. 04. 30.

Statistical Methods and Bayesian Inference참고 문헌 10인용 수 7

한 줄 요약

이 논문은 군집화되거나 종단적 데이터와 같은 비i.i.d. 데이터 구조를 고려하기 위해 표준 표본 크기를 효과적 표본 크기($n_e$)로 대체한 수정된 베이지안 정보 기준(BIC)을 제안한다. 새로운 BIC$_{n_e}$는 복잡한 공분산 구조에서 기존 BIC 변형보다 모델 선택 정확도가 뛰어나며, 랜덤 효과 구조에 대한 명시적 지식이 없이도 시뮬레이션에서 고전적 BIC 및 하이브리드 BIC를 능가한다.

ABSTRACT

The use of Bayesian information criterion (BIC) in the model selection procedure is under the assumption that the observations are independent and identically distributed (i.i.d.). However, in practice, we do not always have i.i.d. samples. For example, clustered observations tend to be more similar within the same group, and longitudinal data is collected by measuring the same subject repeatedly. In these scenarios, the assumption in BIC is not satisfied. The concept of effective sample size is brought up and improved BIC is defined by replacing the sample size in the original BIC expression with the effective sample size, which will give us a better theoretical foundation in the circumstance that mixed-effects models involve. Numerical experiment results are also given by comparing the performance of our new BIC with other widely used BICs.

연구 동기 및 목표

• 비i.i.d. 데이터 설정, 예를 들어 군집화되거나 종단적 데이터에서 관측치가 상관되어 있는 경우에 표준 BIC의 한계를 해결하기 위해.
• 의존성이 있는 데이터에서 정보의 효율성을 반영하기 위해 효과적 표본 크기($n_e$) 개념을 활용한 이론적으로 타당한 BIC 변형을 개발하기 위해.
• 기존 BIC 공식과 비교해 선형 혼합효과 모델에서의 모델 선택 성능을 향상시키기 위해.
• 실제 데이터에서 복잡한 의존성 구조를 가진 데이터에 더 널리 적용 가능한, i.i.d. 가정을 초월한 BIC의 일반화를 위해.

제안 방법

• 정보 행렬의 트레이스의 역수로 효과적 표본 크기($n_e$)를 정의하여, 동일한 정밀도를 가지는 독립 관측치의 등가 수를 나타내도록 한다.
• 고전적 BIC 식에서 명목 표본 크기 $n$을 $n_e$로 대체함으로써 수정된 BIC 공식을 유도한다.
• 비i.i.d. 설정에서 BIC 근사가 타당해지도록 마진 모수 likelihood에 대해 라플라스 근사를 적용한다.
• 기존 BIC 변형 세 종류와 BIC$_{n_e}$를 비교한다: BIC$_N$ (전체 표본 크기 $N$ 사용), BIC$_n$ (주별 관측 수 $n$ 사용), BIC$_h$ (하이브리드 페널티 사용).
• 다양한 수의 주체($N$)와 주별 관측 수($n_{\text{sub}}$)를 가진 시뮬레이션 연구를 통해 모델 선택 정확도를 평가한다.
• 다양한 랜덤 효과 구조에서 64개의 모델 구성에 대해 정확한 모델 선택 빈도를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 선형 혼합효과 모델에서 비i.i.d. 데이터에 표준 BIC를 적용할 경우 어떻게 성능을 보이는가?
• RQ2 효과적 표본 크기($n_e$)는 의존성 있는 데이터 설정에서 BIC에 더 나은 이론적 기반을 제공할 수 있는가?
• RQ3 BIC$_{n_e}$는 BIC$_N$, BIC$_n$, BIC$_h$와 비교해 어떤 공분산 구조에서도 모델 선택 정확도에서 어떻게 성능을 내는가?
• RQ4 BIC$_{n_e}$는 랜덤 효과 구조에 대한 세부 지식 없이도 뛰어난 성능을 유지하는가?

주요 결과

• BIC$_{n_e}$는 모든 시뮬레이션 설계에서 BIC$_N$과 BIC$_n$을 일관되게 능가하며, 특히 랜덤 효과 구조가 복잡할 경우 두드러진 성능 향상을 보인다.
• BIC$_{n_e}$는 극단적인 공분산 사례에 대한 지식이 필요한 하이브리드 BIC$_h$와 유사한 성능을 달성하지만, 구조적 가정이 필요로 하지 않는다.
• N=20, n_{\text{sub}}=5 조건의 시뮬레이션에서 BIC$_{n_e}$는 정확한 선택 빈도 약 0.85를 기록했으며, BIC$_N$(0.72)와 BIC$_n$(0.68)를 모두 능가했다.
• N=100, n_{\text{sub}}=100 조건에서는 BIC$_{n_e}$가 높은 정확도(빈도 >0.90)를 유지했고, BIC$_N$과 BIC$_n$은 모델 구조에 따라 성능의 큰 변동을 보였다.
• BIC$_{n_e}$의 성능은 $N$과 $n_{\text{sub}}$의 다양한 조합에서 뛰어난 안정성을 보이며, 다양한 데이터 구성에 대한 일반화 능력을 나타낸다.
• BIC$_{n_e}$는 BIC$_h$보다 더 쉽게 구현 가능하다. BIC$_h$는 극단적 모델 사례에 기반한 페널티 항을 설정해야 하기 때문이다.