[논문 리뷰] Machine Learning with Electronic Health Records is vulnerable to Backdoor Trigger Attacks

Byunggill Joe, Akshay Mehra외 2명|arXiv (Cornell University)|2021. 06. 15.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 전자 의료 기록(EHR)에서 학습된 기계 학습 모델을 대상으로 한 새로운 백도어 트리거 공격을 제안한다. 이 공격는 시간적으로 일관되고 통계적으로 타당한 트리거를 사용하여 데이터 패턴을 유지함으로써 탐지되지 않도록 한다. MIMIC-III 데이터셋을 사용한 사망 예측 작업에서, 훈련 데이터의 5% 미만이 오염된 상태에서도 로지스틱 회귀, 다층 퍼셉트론, 그리고 LSTM 모델에서 공격 성공률가 97%에 이르며, 모델에 대한 지식이 없는 블랙박스 환경에서도 효과를 발휘한다.

ABSTRACT

Electronic Health Records (EHRs) provide a wealth of information for machine learning algorithms to predict the patient outcome from the data including diagnostic information, vital signals, lab tests, drug administration, and demographic information. Machine learning models can be built, for example, to evaluate patients based on their predicted mortality or morbidity and to predict required resources for efficient resource management in hospitals. In this paper, we demonstrate that an attacker can manipulate the machine learning predictions with EHRs easily and selectively at test time by backdoor attacks with the poisoned training data. Furthermore, the poison we create has statistically similar features to the original data making it hard to detect, and can also attack multiple machine learning models without any knowledge of the models. With less than 5% of the raw EHR data poisoned, we achieve average attack success rates of 97% on mortality prediction tasks with MIMIC-III database against Logistic Regression, Multilayer Perceptron, and Long Short-term Memory models simultaneously.

연구 동기 및 목표

• 훈련된 EHR 데이터 기반 기계 학습 모델이 테스트 시점에 예측을 조작하는 백도어 공격에 취약한가를 조사한다.
• 탐지되지 않도록 하기 위해 EHR 데이터의 통계적 및 시간적 특성을 유지하는 트리거 생성 방법을 개발한다.
• 다양한 모델과 다양한 오염 비율 및 트리거 강도 조건에서 제안된 백도어 공격의 효과성을 평가한다.
• 공격자가 타겟 모델의 사전 처리 또는 누락치 보정 기법을 모를 경우에도 공격가 여전히 효과를 발휘하는지 확인한다.
• EHR 기반 기계 학습 파이프라인의 심각한 보안 결함을 폭 드러내어 신뢰할 수 있는 의료 AI의 긴급한 필요성을 강조한다.

제안 방법

• 트리거는 48시간 ICU 체류 기간 동안 EHR 측정치의 시간적 공분산 구조를 활용하여 생성되며, 시간적 일관성과 타당성을 보장한다.
• 범주형 변수는 오염된 데이터에서 그대로 유지되어 공격를 드러내는 비자연스러운 변환을 방지한다.
• 원본 EHR 데이터의 누락치 패턴이 오염된 샘플에도 그대로 유지되어 깨끗한 데이터와 통계적으로 유사성을 확보한다.
• 마할라노비스 거리 기반 메트릭을 사용해 트리거 강도를 측정하며, EHR 데이터 분포에 더 잘 부합하는 방식으로 표준 lp 노름을 대체한다.
• 공격는 수작업으로 트리거가 삽입된 훈련 데이터의 일부를 오염시킨 후, 동일한 트리거가 포함된 테스트 예측에 대해 모델의 동작을 평가함으로써 적용된다.
• 이 방법은 MIMIC-III 데이터셋을 사용한 사망 예측 작업에서 평가되었으며, 표준 보정 절차 이전 및 이후 모두에서 공격를 테스트하였다.

실험 결과

연구 질문

• RQ1 백도어 트리거를 실질적인 EHR 데이터와 통계적으로 구별할 수 없도록 설계할 수 있으며, 同시에 높은 영향력을 가진 모델 조작을 가능하게 할 수 있는가?
• RQ2 제안된 트리거 생성 방법이 연속형, 범주형, 그리고 누락 데이터가 혼합된 EHR에서 데이터의 타당성과 탐지 회피 능력을 얼마나 잘 유지하는가?
• RQ3 로지스틱 회귀, 다층 퍼셉트론, LSTM 등 다양한 기계 학습 모델에서 공격 성공률는 어느 정도인가?
• RQ4 청결한 데이터 및 보정된 데이터 환경에서 다양한 오염 비율과 트리거 강도에 따라 공격 성능는 어떻게 변하는가?
• RQ5 공격자가 타겟 모델의 아키텍처나 사전 처리 파이프라인을 모른다는 블랙박스 환경에서도 공격가 여전히 효과를 발휘하는가?

주요 결과

• 훈련 데이터의 5% 미만이 오염된 상태에서도, 로지스틱 회귀, 다층 퍼셉트론, 그리고 장기 단기 기억 모델에서 사망 예측 작업에서 평균 공격 성공률가 97%에 이르렀다.
• 표준 보정 절차 이후에도 공격 성공률가 유지되었으며, 특히 모든 데이터 항목(포함해 보정된 값까지)에 트리거가 적용된 경우 성공률가 최대 100%에 도달했다.
• LSTM 모델은 로지스틱 회귀 및 MLP보다 더 높은 내성성을 보였지만, 더 강한 트리거와 더 높은 오염 비율을 사용할 경우 여전히 100%의 성공률를 기록했다.
• 시간적 공분산을 활용한 제안된 트리거 생성 방법은 흰색 잡음이나 전체 공분산 기반 트리거와 달리, 실제 EHR 데이터와 시각적·통계적으로 유사한 트리거를 생성한다.
• 시각적 및 통계적 비교를 통해 제안된 방법으로 생성된 트리거는 독립적인 흰색 잡음 또는 전체 공분산 행렬 기반 트리거보다 훨씬 탐지하기 어려운 것으로 확인되었다.
• 블랙박스 환경에서도 공격가 효과를 유지하며, 트리거는 타겟 모델의 아키텍처나 사전 처리 파이프라인에 관계없이 항상 효과를 발휘한다.