[논문 리뷰] A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

Yash Deo, Yan Jia외 6명|arXiv (Cornell University)|2026. 02. 13.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

본 논문은 MRI 생성 모델의 학습 데이터 누출을 탐지하고 정량화하기 위해 보정된 Memorization Index (MI)와 Overfit-Novelty Index (ONI)를 도입하여, 샘플 단위 탐지와 강건하고 교차 데이터셋에 안정적인 임계치를 제공한다.

ABSTRACT

Image generative models are known to duplicate images from the training data as part of their outputs, which can lead to privacy concerns when used for medical image generation. We propose a calibrated per-sample metric for detecting memorization and duplication of training data. Our metric uses image features extracted using an MRI foundation model, aggregates multi-layer whitened nearest-neighbor similarities, and maps them to a bounded \emph{Overfit/Novelty Index} (ONI) and \emph{Memorization Index} (MI) scores. Across three MRI datasets with controlled duplication percentages and typical image augmentations, our metric robustly detects duplication and provides more consistent metric values across datasets. At the sample level, our metric achieves near-perfect detection of duplicates.

연구 동기 및 목표

• 의료 영상 생성에서 환자 프라이버시를 보호하기 위해 무참조 기억화 지표의 필요성을 제시한다.
• 도메인 특화 특징을 사용하여 MRI 데이터에 맞춘 보정된 다중 스케일 기억화 탐지기를 개발한다.
• 암기된 학습 슬라이스를 식별하고 제거하기 위한 샘플 당 점수를 제공한다.
• 일반적인 증강에 대한 강건성과 교차 데이터셋 일관성을 입증한다.
• 전통적인 품질 점수로는 포착되지 않는 누출을 밝힘으로써 지표가 충실도 지표를 보완한다는 것을 보여준다.

제안 방법

• 레이어 3, 7, 11에서 도메인 특화 MRI 기반 모델(MRI-CORE/SAM ViT-B 인코더)을 사용하여 다중 스케일 MRI 특징을 추출한다.
• 학습 데이터에서 추정된 ZCA 화이트닝으로 각 레이어의 특징을 화이트닝하고 학습 샘플에 대한 최대 코사인 유사도를 계산한다.
• 스케일 간 기하 평균으로 각 레이어의 유사도를 집계하여 샘플 수준 점수 s_j를 산출한다.
• 부트스트랩된 학습 부분집합을 통해 영(무) 귀무 분포를 보정하여 MI_j를 도출하고 MI를 사용한 tanh 기반 변환으로 경계가 있는 ONI_j로 매핑한다.
• 진단용으로 샘플 당 점수를 제공하고 각 레이어의 이웃 인덱스와 컨센서스 수를 유지한다.

Fig. 1 : Overview of our methodology to calculate the Memorisation Index (MI) and the Overfit-Novelty Index (ONI)

실험 결과

연구 질문

• RQ1 다양한 데이터셋에 걸쳐 보정된 다중 스케일 특징 기반 지표가 MRI 생성 모델의 기억화/중복을 신뢰할 수 있게 탐지할 수 있는가?
• RQ2 제안된 MI/ONI가 일반적인 증강과 교차 데이터셋 변이에 대해 강건하여 보편적인 임계치를 가능하게 하는가?
• RQ3 샘플 당 점수가 근사 중복 학습 슬라이스를 정확히 식별하여 실용적인 데이터 큐레이션을 가능하게 하는가?
• RQ4 제안된 지표가 데이터 누출 탐지에서 기존 무참조 이미지 품질 지표와 어떻게 비교되는가?
• RQ5 다양한 변환 하에서 집합 수준 기억화 지표와 샘플 단위 탐지 성능 간의 관계는 무엇인가?

주요 결과

• MI는 중복과 거의 선형으로 증가하며 증강에 대해 안정적으로 유지되어 증강에 안정적인 기억화 탐지를 시사한다.
• CT 점수는 증강에 따라 더 큰 분산을 보이고, FID/MMD는 중복이 증가할수록 감소하여 누출이 커질 때 충실도를 오도할 수 있다.
• MI/ONI는 CT보다 변동계수(CV)가 낮아 강한 교차 데이터셋 안정성을 보이며 평균적으로 (MI CV가 평균 약 5.5배 감소).
• 샘플 당 MI는 깨끗한/노이즈/강도 중복에 대해 거의 완벽한 ROC-AUC를 달성하고, 작은 회전에 대해서도 우수한 탐지를 유지한다 (예: 회전 ±3°에서 평균 AUC 0.871, 회전 ±5°에서 0.758).
• 데이터셋 간에 MI/ONI가 CT보다 더 안정적이고 해석 가능한 임계치를 제시하며, 깨끗한 ONI 점수는 데이터셋 간 안정성을 보인다(CV < 0.013).
• 표 기반 결과에서 MI가 CT에 비해 증강 강건성이 6–20배 더 크고, 교차 데이터셋 CV 개선이 나타난다(평균 0.072 대 0.395).
• MI/ONI는 집합 수준 지표와 달리 근사 중복 쌍을 식별하여 실용적인 데이터 큐레이션을 가능하게 한다.

Fig. 2 : Metric response to duplication under augmentations. (a) MI increases near-linearly and remains tight across augmentations. (b) CT spreads across augmentations, especially at higher duplication percentages. (c–d) FID/MMD decrease as duplication increases, which can be misleading if used as t