[논문 리뷰] Model-Preserving Sensitivity Analysis for Families of Gaussian Distributions

Christiane Goergen, Manuele Leonelli|arXiv (Cornell University)|2018. 09. 27.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 가우시안 그래픽 모델에 대해 모델를 유지하는 민감도 분석을 도입하여, 공분산 매개변수에 대한 편항이 원래의 조건부 인코어런스 구조를 유지하도록 다항적이고 대수적으로 제약된 공변화를 사용한다. 이 방법은 그래픽 모델의 타당성을 유지하면서 Kullback-Leibler 발산을 통해 분포의 변화를 정량화하며, 표준 방법과 유사한 강건성을 보이지만 조건부 인코어런스 관계가 일관되게 유지된다.

ABSTRACT

The accuracy of probability distributions inferred using machine-learning algorithms heavily depends on data availability and quality. In practical applications it is therefore fundamental to investigate the robustness of a statistical model to misspecification of some of its underlying probabilities. In the context of graphical models, investigations of robustness fall under the notion of sensitivity analyses. These analyses consist in varying some of the model's probabilities or parameters and then assessing how far apart the original and the varied distributions are. However, for Gaussian graphical models, such variations usually make the original graph an incoherent representation of the model's conditional independence structure. Here we develop an approach to sensitivity analysis which guarantees the original graph remains valid after any probability variation and we quantify the effect of such variations using different measures. To achieve this we take advantage of algebraic techniques to both concisely represent conditional independence and to provide a straightforward way of checking the validity of such relationships. Our methods are demonstrated to be robust and comparable to standard ones, which break the conditional independence structure of the model, using an artificial example and a medical real-world application.

연구 동기 및 목표

• 표준 가우시안 민감도 분석에서 공분산 행렬에 대한 편항이 원래의 조건부 인코어런스 구조를 파괴하는 한계를 해결하기 위해.
• 파rameter 변화 후에도 그래픽 모델의 구조를 유지하는 민감도 분석 프레임워크를 개발하기 위해.
• 모든 편항된 분포가 원래와 동일한 조건부 인코어런스 관계를 가진 유효한 가우시안 모델이 되도록 보장하기 위해.
• 이산 베이지안 네트워크에서 비례적 공변화의 연속적 대체를 제공하여 모델의 일관성을 유지하기 위해.
• 인공적 및 실제 의료 사례를 통해 방법의 강건성과 실용적 유용성을 입증하기 위해.

제안 방법

• 공분산 행렬 원소에 덧셈 대신 곱셈 방식으로 작용하는 모델를 유지하는 편항을 제안한다.
• 특정 미니어의 영이 되는 방식으로 공분산 행렬 내 조건부 인코어런스 구조를 대수적 기법을 통해 표현하고 검증한다.
• 편항 후 원래의 그래프 구조를 유지하기 위해 추가 매개변수의 공변화를 강제한다.
• 다섯 가지 공변화 체계를 구현: 전체, 부분, 행 기반, 열 기반, 표준 변형. 각 체계는 결과 행렬이 유효한 공분산 행렬이 되도록 보장한다.
• 원래 및 변형된 분포 간 Kullback-Leibler 발산과 프로베니우스 노름을 사용하여 편항의 영향을 정량화한다.
• Schur 곱과 양의 준정적 행렬 검증을 활용하여 결과 공분산 행렬의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 가우시안 그래픽 모델에 대해 원래의 조건부 인코어런스 구조를 손상시키지 않고 민감도 분석을 수행할 수 있는가?
• RQ2 모델를 유지하는 편항은 표준 덧셈 편항과 비교해 KL 발산과 모델 일관성 측면에서 어떻게 다른가?
• RQ3 예를 들어 행 기반, 열 기반 등의 공변화 체계 중 어느 것이 가장 안정적이고 대표적인 민감도 결과를 도출하는가?
• RQ4 모델를 유지하는 편항 후 결과 공분산 행렬이 항상 양의 준정적이게 보장되는 조건은 무엇인가?
• RQ5 제안된 방법은 표준 민감도 분석에 비해 실제 응용에서 어떻게 성능을 발휘하는가?

주요 결과

• 모델를 유지하는 민감도 분석은 편항 후에도 원래의 그래픽 구조를 유지하여 그래프가 모델의 조건부 인코어런스 구조를 충실하게 반영함을 보장한다.
• 캐크시아 환자 네트워크에서 기존 방법은 모델를 유지하는 방법보다 훨씬 작은 KL 발산을 보였지만, 후자는 다양한 매개변수에 걸쳐 더 일관된 결과를 보였다.
• 행 기반 모델를 유지하는 변형은 네 가지 사례 중 두 곳에서 유의미하게 더 작은 KL 발산을 기록하여 특정 공분산에 더 민감함을 시사한다.
• 글루타민/베티인 공분산의 경우, 행 기반 모델를 유지하는 체계는 표준 방법과 거의 동일한 프로베니우스 노름을 달성하여 뛰어난 성능을 보였다.
• 전체 모델를 유지하는 공변화 체계는 부분 또는 행/열 기반 체계와 달리 항상 양의 준정적 행렬을 생성하며, 별도의 검증이 필요로 하지 않는다.
• 이 방법은 일관된 그래픽 표현을 제공하는 강건한 민감도 분석을 가능하게 하여, 모델 구조를 훼손하는 표준 접근법에 대한 실용적인 대안을 제공한다.