[논문 리뷰] On Tractable Computation of Expected Predictions

Pasha Khosravi, YooJung Choi외 3명|arXiv (Cornell University)|2019. 10. 05.

Neural Networks and Applications인용 수 25

한 줄 요약

이 논문은 공유 vtree 구조를 가진 확률적 회로를 사용하여, 유의미한 모델에 대해 정확한 기대값과 임의의 순서의 모멘트를 다루는 계산 가능 프레임워크를 제안한다. 구조적 제약을 활용함으로써, 다항 시간 내에 모멘트를 계산할 수 있으며, 이는 결측 데이터 보정에서의 강건성 향상과 분류 및 회귀 시나리오에서의 정당한 모델 분석(정당성 및 설명 가능성)을 가능하게 한다.

ABSTRACT

Computing expected predictions of discriminative models is a fundamental task in machine learning that appears in many interesting applications such as fairness, handling missing values, and data analysis. Unfortunately, computing expectations of a discriminative model with respect to a probability distribution defined by an arbitrary generative model has been proven to be hard in general. In fact, the task is intractable even for simple models such as logistic regression and a naive Bayes distribution. In this paper, we identify a pair of generative and discriminative models that enables tractable computation of expectations, as well as moments of any order, of the latter with respect to the former in case of regression. Specifically, we consider expressive probabilistic circuits with certain structural constraints that support tractable probabilistic inference. Moreover, we exploit the tractable computation of high-order moments to derive an algorithm to approximate the expectations for classification scenarios in which exact computations are intractable. Our framework to compute expected predictions allows for handling of missing data during prediction time in a principled and accurate way and enables reasoning about the behavior of discriminative models. We empirically show our algorithm to consistently outperform standard imputation techniques on a variety of datasets. Finally, we illustrate how our framework can be used for exploratory data analysis.

연구 동기 및 목표

• 모든 유의미한 생성 분포에 대해 분류 모델의 기대 예측을 계산하는 데 있어 계산의 비가용성 문제를 해결하기 위해.
• 공유 vtree를 가진 확률적 회로의 모델 쌍을 식별하여, 회귀에서 정확한 기대값과 고차 모멘트의 다항 시간 계산을 가능하게 하기 위해.
• 정확한 계산이 불가능한 경우에 효율적인 근사 방법을 개발하여 분류에 프레임워크를 확장하기 위해.
• 특히 결측 데이터 및 하위 집단 분석 시나리오에서 불확실성 하에서 모델 행동에 대한 체계적인 추론을 가능하게 하기 위해.
• 실제 데이터셋에서 표준 보정 기법보다 프레임워크의 우수성을 입증하기 위해.

제안 방법

• 구조적 제약(예: 분해 가능성, d-분리성)을 가진 확률적 회로를 활용하여 계산 가능한 추론을 가능하게 한다.
• 생성 모델과 분류 모델 간의 공유 vtree를 활용하여 두 모델 간의 계산을 정렬한다.
• 생성 분포에 대해 분류 회귀 모델의 k차 모멘트를 다항 시간 내에 계산하는 알고리즘을 유도한다.
• 기대 예측의 근사치를 계산하기 위해 모멘트 기반 추정을 활용하여 분류 작업에 모멘트 계산을 적용한다.
• 동일한 vtree 노드에 대응하는 두 회로의 쌍으로 구성된 노드에서 연산을 수행하여 이차 시간 복잡도를 달성한다.
• 모멘트의 계산 가능성을 활용하여 부분 관측(예: 결측 특성) 하에서 조건부 기대값 질의를 수행한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 분류 모델의 정확한 기대값과 모멘트를 다항 시간 내에 계산할 수 있는가?
• RQ2 표현력 있는 확률적 회로 쌍이 회귀에서 고차 모멘트의 계산 가능성을 보장할 수 있는가?
• RQ3 정확한 계산이 불가능한 분류 시나리오에서 기대 예측을 근사할 수 있는가?
• RQ4 제안된 프레임워크는 표준 보정 기법보다 결측 데이터 처리에서 어떻게 비교되는가?
• RQ5 프레임워크는 예측 모델링에서 하위 집단 분석 및 공정성 평가를 지원할 수 있는가?

주요 결과

• 공유 vtree를 가진 확률적 회로를 사용하여, 이 프레임워크는 회귀에서 임의의 순서의 모멘트와 기대값을 다항 시간 내에 정확히 계산할 수 있다.
• 분류에서는 정확한 계산이 불가능한 비분해성 및 비선형 함수로 인해 여전히 비가용성이지만, 모멘트 계산을 활용한 효율적인 근사 방법이 개발되었다.
• 여러 데이터셋에서 표준 보정 기법보다 일관되게 뛰어난 성능을 보였으며, 특히 높은 결측률(예: 30%) 상황에서 기준 방법이 계산 비용으로 인해 실패한 경우에도 유의미한 성능을 유지했다.
• 데이터가 희박하거나 가용성이 없더라도 복잡한 조건부 조건(예: 다수의 특성) 하에서 기대 예측의 정확한 추정이 가능했으며, 특정 지역의 여성 흡연자 하위 집단과 같은 질의를 통해 이를 입증했다.
• 이 방법은 기대 보험료의 차이를 정량화함으로써 공정성 및 설명 가능성 분석에 강력하게 기여했으며, 예를 들어 흡연자와 비흡연자, 지역 간의 평균과 분산 차이를 드러내었다.
• 직접적인 경험적 추정이 실패하는 상황(하위 집단에서 4~3개의 샘플만 존재하는 경우)에서도 기대값 추정에 높은 정확도를 달성했다.