[논문 리뷰] Model updating after interventions paradoxically introduces bias

James Liley, Samuel R. Emerson외 4명|arXiv (Cornell University)|2020. 10. 22.

Machine Learning in Healthcare참고 문헌 1인용 수 7

한 줄 요약

이 논문은 예측 모델이 행동을 유도하는 설정에서 간단한 모델 업데이트가 어떻게 편향을 유발하는지 분석하기 위해 인과적 프레임워크를 제안한다. 특히 예측이 행동을 유도하고 그로 인해 결과가 변화하는 상황에서 발생하는 문제를 다룬다. 연구는 반복적인 업데이트가 자기실현 예측에 수렴하거나 안정성 없는 진동을 유도할 수 있음을 보여주며, 이는 더 나은 알고리즘을 사용하더라도 모델 신뢰도를 떨어뜨린다.

ABSTRACT

Machine learning is increasingly being used to generate prediction models for use in a number of real-world settings, from credit risk assessment to clinical decision support. Recent discussions have highlighted potential problems in the updating of a predictive score for a binary outcome when an existing predictive score forms part of the standard workflow, driving interventions. In this setting, the existing score induces an additional causative pathway which leads to miscalibration when the original score is replaced. We propose a general causal framework to describe and address this problem, and demonstrate an equivalent formulation as a partially observed Markov decision process. We use this model to demonstrate the impact of such `naive updating' when performed repeatedly. Namely, we show that successive predictive scores may converge to a point where they predict their own effect, or may eventually tend toward a stable oscillation between two values, and we argue that neither outcome is desirable. Furthermore, we demonstrate that even if model-fitting procedures improve, actual performance may worsen. We complement these findings with a discussion of several potential routes to overcome these issues.

연구 동기 및 목표

• 예측 모델이 이전 모델에 의해 유도된 간섭으로 인해 오염된 데이터를 사용해 간단하게 업데이트될 때 발생하는 편향을 식별하고 형식화하는 것.
• 모델 기반 간섭이 후속 모델 성능과 校정성에 미치는 영향을 분석하기 위한 일반적인 인과적 프레임워크를 개발하는 것.
• 반복적인 모델 업데이트가 자기예측 평형점으로 수렴하거나 안정성 없는 진동을 유도할 수 있음을 보여주는 것.
• 기존 모델을 완전히 교체하는 것과는 대조적으로, 새로운 모델을 점진적으로 추가하는 전략인 '순차적 보조' 전략을 제안하는 것.
• 성능 저하가 보존 데이터가 없어 감지되지 않을 수 있다는 위험을 강조하여 신뢰도와 규제 감시를 약화시킬 수 있음을 밝히는 것.

제안 방법

• 예측 변수(X), 결과(Y), 그리고 예측 점수에 의해 영향을 받는 간섭 메커니즘을 포함하는 구조적 인과 모델을 사용해 문제를 형식화하는 것.
• 순차적 의사결정과 피드백 루프를 포착하기 위해 부분 관측 가능한 마르코프 결정 과정으로 시스템을 모델링하는 것.
• 기존 예측과 간섭으로 영향을 받은 결과가 포함된 데이터에 새로운 모델을 피팅하는 방식으로 '간단한 모델 교체'를 정의하는 것.
• 기존 모델을 교체하는 대신 새로운 예측 점수를 추가하는 전략인 '순차적 보조'를 도입하는 것.
• 제한된 간섭 조건 하에서 불리한 결과를 최소화하는 것이 모델의 궁극적 목표임을 제약 최적화 프레임워크로 정의하는 것.
• 특히 반복적인 업데이트 상황에서 예측 점수의 안정성과 수렴 성질을 분석하는 것.

실험 결과

연구 질문

• RQ1 기존 모델 기반 간섭으로 영향을 받는 데이터를 사용해 예측 모델을 업데이트할 경우 어떤 방식으로 편향이 유발되는가?
• RQ2 간섭 기반 설정에서 반복적으로 업데이트되는 예측 모델의 장기적 동역학적 행동 양상은 어떠한가?
• RQ3 왜 더 나은 모델을 사용하더라도 간단한 모델 교체 전략은 校정성 오류를 유도하는가?
• RQ4 예를 들어 '순차적 보조'와 같은 대체 전략이 피드백 루프에서 발생하는 모델 업데이트로 인한 편향을 완화할 수 있는가?
• RQ5 모델 업데이트가 어떤 조건에서 자기실현 예측에 수렴하거나 진동 행동을 유도하는가?

주요 결과

• 간단한 모델 업데이트는 훈련 데이터에 이전 예측으로 인해 변화된 결과가 포함되어 있기 때문에 편향을 유발한다. 이는 새로운 모델이 자신의 전신의 영향을 학습하게 만들기 때문이다.
• 반복적인 모델 업데이트는 모델이 자신의 영향을 예측하는 固定点으로 수렴하는 결과를 낳을 수 있으며, 이는 자기실현 예언(self-fulfilling prophecy)을 생성한다.
• 어떤 경우에는 두 값 사이를 안정적으로 진동하는 경우가 발생하여, 반복적인 업데이트에도 불구하고 지속적인 불안정성을 나타낸다.
• 모델 피팅 절차가 향상되더라도, 간섭 기반 데이터 오염으로 인한 피드백 루프로 인해 실제 예측 성능은 악화될 수 있다.
• 보존 테스트 세트가 없으면, 오염된 데이터에서 모델이 잘 작동하는 것처럼 보여 성능 저하를 오랫동안 감지하지 못할 수 있다.
• 연구는 모델 안정성이 최적의 성능을 보장하지 않으며, 간섭의 피드백 효과가 존재하는 상황에서는 안정성 자체가 환영일 수 있음을 보여준다.