[논문 리뷰] Private and interpretable clinical prediction with quantum-inspired tensor train models

José Ramón Pareja Monturiol, Juliette Sinnott외 2명|arXiv (Cornell University)|2026. 02. 05.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

논문은 텐서 트레인(TT) 텐서라이제이션을 활용해 임상 예측 모델의 프라이버시를 보호하고 해석 가능성을 높이며, TT 방어가 DP에 비해 정확도를 거의 유지한 채 프라이버시 누출을 감소시키는 것을 LR 및 NN 기반에서 보여줍니다. 또한 해석 가능성을 유지하거나 향상시키고 텐서화된 신경망으로 확장됩니다.

ABSTRACT

Machine learning in clinical settings must balance predictive accuracy, interpretability, and privacy. Models such as logistic regression (LR) offer transparency, while neural networks (NNs) provide greater predictive power; yet both remain vulnerable to privacy attacks. We empirically assess these risks by designing attacks that identify which public datasets were used to train a model under varying levels of adversarial access, applying them to LORIS, a publicly available LR model for immunotherapy response prediction, as well as to additional shallow NN models trained for the same task. Our results show that both models leak significant training-set information, with LRs proving particularly vulnerable in white-box scenarios. Moreover, we observe that common practices such as cross-validation in LRs exacerbate these risks. To mitigate these vulnerabilities, we propose a quantum-inspired defense based on tensorizing discretized models into tensor trains (TTs), which fully obfuscates parameters while preserving accuracy, reducing white-box attacks to random guessing and degrading black-box attacks comparably to Differential Privacy. TT models retain LR interpretability and extend it through efficient computation of marginal and conditional distributions, while also enabling this higher level of interpretability for NNs. Our results demonstrate that tensorization is widely applicable and establishes a practical foundation for private, interpretable, and effective clinical prediction.

연구 동기 및 목표

• 임상 데이터에서 학습된 회귀(LR) 및 신경망(NN) 모델의 프라이버시 위험을 블랙박스 및 화이트박스 접근에서 평가한다.
• 정확도를 보존하면서 모델 매개변수를 흐리게 하는 양자 영감의 TT 방어를 평가한다.
• LR 및 NN에 대한 TT 기반 프라이버시를 차등 프라이버시(DP) 방어와 비교한다.
• TT 모델의 해석 가능성과 텐서화된 NNs에의 적용성을 입증한다.

제안 방법

• 화이트박스, 강한 블랙박스, 2-웨이 블랙박스 접근에서 그림자 모델을 이용한 멤버십 추론 공격 설계.
• TT-RSS를 통해 사전 학습된 LR 및 NN 모델을 텐서화하여 매개변수가 흐려진 TT-LR 및 TT-NN 표현으로 얻는다.
• 블랙박스 접근하에서 프라이버시를 제어하기 위해 출력 점수를 b개의 구간으로 이산화하고, LR-DP, NN-DP 등 DP 기반 비교대책과 비교한다.
• 공개 데이터셋 중 어떤 데이터가 학습에 사용되었는지 탐지하는 다중 라벨 분류기(공격자) 학습한다(D1,...,DM).
• TT-RSS를 사용한 LORIS 기반 면역치료 예측 및 TT-NN으로의 확장을 포함해 공격을 평가하고 WB 방어를 위한 게이지 랜덤화를 포함한다.
• TT 방어를 공격 점수(Hamming), 정확도, AUC 측면에서 DP와 비교한다.

Figure 1: Feature sensitivity scores from LR and TT models (TT-LR and TT-NN, with $b=6$ ). LR scores are coefficients, while TT scores are obtained via marginalization. All values are normalized by the maximum absolute score.

실험 결과

연구 질문

• RQ1 임상 데이터로 학습된 선형 모델과 신경망이 WB 및 BB 접근에서 멤버십 추론에 얼마나 취약한가?
• RQ2 양자 영감 TT 텐서라이제이션이 모델 매개변수를 충분히 흐리게 하여 이러한 공격으로부터 방어하면서 예측 성능을 손상시키지 않을 수 있는가?
• RQ3 동일 작업에서 TT 기반 프라이버시는 선형 및 신경망 모델의 프라이버시를 DP와 어떻게 비교되는가?
• RQ4 TT 표현이 LR 계수에 비유되는 해석 가능성과 주변/조건부 분석을 보존하는가?
• RQ5 임상 예측에서 TT 텐서화를 신뢰성과 프라이버시를 위해 텐서화된 NN에 적용 가능한가?

주요 결과

모델	접근 유형	공격 유형	해밍 점수(평균 ± 표준편차)
LR (vanilla)	2-WBB	LR coefficients recovered from TT (star)	0.8178 ± 0.0035
LR (vanilla)	SBB	LR coefficients recovered from TT (star)	0.9129 ± 0.0089
LR (vanilla)	WB	LR coefficients recovered from TT (star)	0.9330 ± 0.0010
LR (averaged)	2-WBB	LR coefficients recovered from TT (star)	0.9149 ± 0.0058
LR (averaged)	SBB	LR coefficients recovered from TT (star)	0.9910 ± 0.0132
LR (averaged)	WB	LR coefficients recovered from TT (star)	0.9999 ± 0.0000
LR-DP (ε=0.1)	2-WBB	attack	0.5314 ± 0.0081
LR-DP (ε=0.1)	SBB	attack	0.5352 ± 0.0064
LR-DP (ε=0.1)	WB	attack	0.5088 ± 0.0059
LR-DP (ε=1)	2-WBB	attack	0.5710 ± 0.0074
LR-DP (ε=1)	SBB	attack	0.5808 ± 0.0059
LR-DP (ε=1)	WB	attack	0.5178 ± 0.0107
LR-DP (ε=10)	2-WBB	attack	0.7163 ± 0.0087
LR-DP (ε=10)	SBB	attack	0.7840 ± 0.0140
LR-DP (ε=10)	WB	attack	0.6403 ± 0.0149
LR-DP (ε=100)	2-WBB	attack	0.7663 ± 0.0060
LR-DP (ε=100)	SBB	attack	0.8610 ± 0.0260
LR-DP (ε=100)	WB	attack	0.8672 ± 0.0076
TT-LR (b=2)	2-WBB	attack	0.6666 ± 0.0025
TT-LR (b=2)	SBB	attack	0.8231 ± 0.0065
TT-LR (b=2)	WB	attack	0.7461 ± 0.0025
TT-LR (b=6)	2-WBB	attack	0.7535 ± 0.0022
TT-LR (b=6)	SBB	attack	0.8604 ± 0.0066
TT-LR (b=6)	WB	attack	0.7979 ± 0.0027
TT-LR (b=10)	2-WBB	attack	0.7687 ± 0.0020
TT-LR (b=10)	SBB	attack	0.8710 ± 0.0053
TT-LR (b=10)	WB	attack	0.8129 ± 0.0021
NN (BB)	2-WBB	attack	0.7375 ± 0.0056
NN (BB)	SBB	attack	0.8608 ± 0.0240
NN (BB)	WB	attack	0.6336 ± 0.0064
TT-NN (b=2)	2-WBB	attack	0.5759 ± 0.0055
TT-NN (b=2)	SBB	attack	0.6184 ± 0.0209
TT-NN (b=2)	WB	attack	0.5061 ± 0.0053

• 원래의 LR 및 NN 모델은 공격 점수가 높아 프라이버시 누출에 취약함을 시사한다.
• 더 큰 프라이버시 예산(b 증가, ε 증가)은 TT 및 DP 방어 모두에서 데이터 누출을 증가시킨다.
• 평균화된 LR 모델은 일반 모델보다 더 취약하며, WB 공격은 평균화된 모델에서 거의 완벽한 분류에 근접한다.
• TT 모델은 접근 수준 전반에서 공격 성능을 감소시키며, WB 공격은 무작위 추측으로 감소하고 BB 방어는 DP에 비견될 정도로 보호되며 원래 모델에 거의 근접한 정확도를 유지한다.
• b=2인 TT-출력은 강한 프라이버시 보호와 작은 ε의 DP에 비해 경쟁력 있는 유틸리티를 제공하며, TT-LR은 주변성과 조건부를 통해 해석 가능성을 유지한다.
• TT 표현은 LR 유사 단조성(monotonicity)을 보존하고 암종별로 특정 하위집단 분석이 가능하게 하여 해석 가능성을 텐서화된 NN까지 확장한다.

Figure 2: Feature sensitivities from conditioned TT-LR models ( $b=6$ ). The legend indicates cancer type and balanced accuracy of each conditioned TT on the corresponding data.