[논문 리뷰] Projection Predictive Inference for Generalized Linear and Additive Multilevel Models

Alejandro Catalina, Paul‐Christian Bürkner외 1명|arXiv (Cornell University)|2020. 10. 14.

Bayesian Modeling and Causal Inference참고 문헌 39인용 수 21

한 줄 요약

이 논문은 일반선형 및 가속 다중수준 모형(GAMMs 및 GLMMs)으로 투영 예측 추론을 확장하여 예측 성능 기반 순차적 전진 선택을 통해 전체 기준 모형의 사후분포를 저차원 하위모형으로 투영함으로써 강력한 변수 및 구조 선택을 가능하게 한다. 이 방법은 최대 60% 적은 항을 사용함으로써 거의 최적의 예측 정확도를 달성하며, 높은 상관관계 또는 복잡한 군집 구조 조건에서도 뛰어난 빈도적 성질과 안정성을 보여준다.

ABSTRACT

Projection predictive inference is a decision theoretic Bayesian approach that decouples model estimation from decision making. Given a reference model previously built including all variables present in the data, projection predictive inference projects its posterior onto a constrained space of a subset of variables. Variable selection is then performed by sequentially adding relevant variables until predictive performance is satisfactory. Previously, projection predictive inference has been demonstrated only for generalized linear models (GLMs) and Gaussian processes (GPs) where it showed superior performance to competing variable selection procedures. In this work, we extend projection predictive inference to support variable and structure selection for generalized linear multilevel models (GLMMs) and generalized additive multilevel models (GAMMs). Our simulative and real-word experiments demonstrate that our method can drastically reduce the model complexity required to reach reference predictive performance and achieve good frequency properties.

연구 동기 및 목표

• 일반선형 및 가속 다중수준 모형(GLMMs 및 GAMMs)에 대해 신뢰할 수 있는 변수 및 구조 선택 방법의 부족을 해결하기 위해.
• 이전에 GLMs 및 GPs에 국한되어 있던 투영 예측 추론을 다중수준 및 가속 구조를 지원하도록 확장하기 위해.
• 비정규분포 및 계층적 모형에서 식별성과 계산 가능성 확보를 위해 투영 과정에 기여하기 위해.
• 광범위한 시뮬레이션과 실제 데이터 실험을 통해 방법의 성능을 검증하기 위해.
• 더 넓은 접근성을 확보하기 위해 오픈소스 projpred R 패키지에 방법을 구현하기 위해.

제안 방법

• 투영된 모형의 주변우도에 대해 라플라스 근사를 적용하여 GLMMs 및 GAMMs에 투영 예측 추론을 적응시킨다.
• 기준 모형의 예측 분포로부터 칼리브-라이블러 발산을 가장 크게 감소시키는 변수를 순차적으로 추가하는 전진 탐색 전략을 사용한다.
• 제외된 변수의 계수를 0으로 고정한 제약된 부분공간으로 전체 기준 모형의 사후분포를 투영함으로써 제외된 구성요소의 불확실성을 유지한다.
• 모형 추정과 변수 선택을 분리하는 의사결정 이론 프레임워크를 사용하여 예측 일관성을 보장한다.
• 예측 성능 평가 및 변수 포함 지침을 위해 예측 밀도의 기대값(log)을 주요 기준으로 사용한다.
• 특히 높은 상관관계 또는 희소 데이터 조건에서 투영의 안정성을 높이기 위해 고정효과 및 무작위효과에 하이퍼프리어를 적용하여 정규화를 수행한다.

실험 결과

연구 질문

• RQ1 이전에 직접 적용이 불가능했던 식별성 문제로 인해 비정규분포 및 계층적 모형에서 직접 적용이 어려웠던 투영 예측 추론이 GLMMs 및 GAMMs로 일반화될 수 있는가?
• RQ2 다양한 상관관계 및 군집 복잡성 조건에서 다중수준 및 가속 모형에서 관련 변수 및 구조 선택에 대해 이 방법의 성능은 어떠한가?
• RQ3 기준 모형의 예측 성능을 근사하기 위해 필요한 투영 모형의 최적 크기는 무엇인가?
• RQ4 높은 상관관계 또는 많은 군집 요소가 존재할 경우, 진정으로 관련된 효과를 식별할 때 이 방법의 참양성과 거짓양성 비율은 어떻게 되는가?
• RQ5 희소 또는 높은 상관관계를 가진 설계를 포함한 다양한 데이터 구조에서 이 방법이 얼마나 강건성과 안정성을 유지하는가?

주요 결과

• 이 방법은 평균적으로 기준 모형의 예측 성능(ELPD 기준)을 유지하면서 최대 60% 적은 항을 사용하여 모형 복잡도를 크게 감소시켰다.
• 예측 변수 간 상관관계가 증가할수록 최적의 투영 크기가 감소함을 확인하여, 고상관관계 조건에서 선택 효율성이 향상됨을 시사한다.
• 모든 시뮬레이션 조건에서 평균 성능 추정치의 95% 신뢰구간이 좁다는 점으로 볼 때, 이 방법은 매우 높은 강건성을 유지하고 있음을 입증한다.
• 군집 요소의 수가 많아지고 상관관계가 높아질수록 거짓양성 비율이 증가하지만, 상관계수가 0.9일 때조차도 진정으로 관련된 효과의 약 절반을 식별할 수 있었다.
• 이 방법은 높은 빈도적 성질을 보이며, 다양한 데이터 구성 조건에서 선택된 하위모형의 예측 성능이 항상 기준 모형의 성능에 매우 가까웠다.
• 무작위효과 및 가속 스무스 항의 포함이 라플라스 근사를 통해 효과적으로 처리되어, 복잡한 모형에서 안정적이고 식별 가능한 투영을 가능하게 하였다.