[論文レビュー] A Calibrated Memorization Index (MI) for Detecting Training Data Leakage in Generative MRI Models

Yash Deo, Yan Jia+6 more|arXiv (Cornell University)|Feb 13, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

この論文は、MRI生成モデルにおける訓練データの漏洩を検出・定量化する校正済み Memorization Index (MI) と Overfit-Novelty Index (ONI) を導入し、サンプルごとの検出と堅牢なクロスデータセット閾値を提供します。

ABSTRACT

Image generative models are known to duplicate images from the training data as part of their outputs, which can lead to privacy concerns when used for medical image generation. We propose a calibrated per-sample metric for detecting memorization and duplication of training data. Our metric uses image features extracted using an MRI foundation model, aggregates multi-layer whitened nearest-neighbor similarities, and maps them to a bounded \emph{Overfit/Novelty Index} (ONI) and \emph{Memorization Index} (MI) scores. Across three MRI datasets with controlled duplication percentages and typical image augmentations, our metric robustly detects duplication and provides more consistent metric values across datasets. At the sample level, our metric achieves near-perfect detection of duplicates.

研究の動機と目的

• 医療画像生成における無参照の memorization 指標の必要性を動機づけて患者プライバシーを保護する。
• MRIデータに特化したドメイン特徴を用いた校正済み、マルチスケールの memorization 検出器を開発する。
• memorized training slices を識別・除去するためのサンプルごとのスコアを提供する。
• 一般的な拡張に対する堅牢性とクロスデータセットの一貫性を示す。
• この指標が伝統的な品質スコアで捉えきれない漏洩を明らかにして忠実度指標を補完することを示す。

提案手法

• ドメイン特化型 MRI ファンデーションモデル (MRI- CORE/SAM ViT-B encoder) のレイヤー 3, 7, 11 からマルチスケール MRI特徴を抽出する。
• 各レイヤーの特徴を訓練データで推定した ZCA ホワイトニングを用いて白色化し、訓練サンプルへの最大コサイン類似度を計算する。
• スケール間で幾何平均を用いて各レイヤーの類似度を統合し、サンプルレベルのスコア s_j を生成する。
• ブートストラップ訓練サブセットを介して null 分布をキャリブレーションし、MI_j を導出し、MI と tanh ベースの変換を用いて有界な ONI_j にマッピングする。
• サンプルごとのスコアを提供し、診断のために各レイヤーの近傍インデックスとコンセンサスカウントを保持する。

Fig. 1 : Overview of our methodology to calculate the Memorisation Index (MI) and the Overfit-Novelty Index (ONI)

実験結果

リサーチクエスチョン

• RQ1 校正済みのマルチスケール特徴ベース指標は、多様なデータセット間で MRI生成モデルの memorization/重複を信頼性高く検出できるか。
• RQ2 提案された MI/ONI は一般的な拡張やクロスデataset 変動に対して頑健で、普遍的な閾値を可能にするか。
• RQ3 サンプルごとのスコアは近傍の重複training slices を正確に特定し、実用的なデータクレンジングを可能にするか。
• RQ4 提案指標はデータ漏洩検出において既存の無参照画像品質指標と比較してどうか。
• RQ5 集合レベルの memorization 指標とさまざまな変換下でのサンプル検出性能の関係はどうなるか。

主な発見

• MI は重複とほぼ直線的に増加し、拡張にも厳密さを保つため、拡張影響下での memorization 検出が安定している。
• CT スコアは拡張とともに分散が大きくなる一方、FID/MMD は重複により低下し、漏洩が進むと忠実度を誤解させる可能性がある。
• MI/ONI はデータセット横断で安定性が高く、CT より変動係数が小さい（MI CV は平均で約 5.5 倍低い）。
• サンプルごとの MI はクリーン/ノイズ/強度の複製に対して ROC-AUC がほぼ完璧に近く、少数の回転でも良好な検出を維持する（例：rot ±3° の平均 AUC は 0.871、rot ±5° は 0.758）。
• データセットを跨いでも、MI/ONI は CT より安定で解釈可能な閾値を生み出し、クリーン ONI スコアはクロスデータセット安定性を示す（CV < 0.013）。
• Table-based の結果は、MI が CT に比べ拡張耐性が 6–20 倍高く、クロスデータセットCVの改善（平均 0.072 対 0.395）。
• MI/ONI は近傍重複ペアを特定することで実用的なデータクレンジングを可能にし、集合レベル指標とは異なる利点を提供する。

Fig. 2 : Metric response to duplication under augmentations. (a) MI increases near-linearly and remains tight across augmentations. (b) CT spreads across augmentations, especially at higher duplication percentages. (c–d) FID/MMD decrease as duplication increases, which can be misleading if used as t