[論文レビュー] Uncovering Memorization in Timeseries Imputation models: LBRM Membership Inference and its link to attribute Leakage

Faiz Taleb, Ivan Gazeau+1 more|arXiv (Cornell University)|Mar 25, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

論文は時系列補完モデルのための参照モデルを用いた損失ベースのメンバーシップ推定攻撃（LBRM）と、 memorization を利用する属性推定攻撃（AIA）を紹介し、ブラックボックス設定における複数アーキテクチャでMIAとAIAの間に強い相関を示す。

ABSTRACT

Deep learning models for time series imputation are now essential in fields such as healthcare, the Internet of Things (IoT), and finance. However, their deployment raises critical privacy concerns. Beyond the well-known issue of unintended memorization, which has been extensively studied in generative models, we demonstrate that time series models are vulnerable to inference attacks in a black-box setting. In this work, we introduce a two-stage attack framework comprising: (1) a novel membership inference attack based on a reference model that improves detection accuracy, even for models robust to overfitting-based attacks, and (2) the first attribute inference attack that predicts sensitive characteristics of the training data for timeseries imputation model. We evaluate these attacks on attention-based and autoencoder architectures in two scenarios: models that are trained from scratch, and fine-tuned models where the adversary has access to the initial weights. Our experimental results demonstrate that the proposed membership attack retrieves a significant portion of the training data with a tpr@top25% score significantly higher than a naive attack baseline. We show that our membership attack also provides a good insight of whether attribute inference will work (with a precision of 90% instead of 78% in the genral case).

研究の動機と目的

• ヘルスケア、IoT、金融などの領域における深層学習ベースの時系列補完のプライバシリスクを動機づける。
• 参照モデルを用いた新しいブラックボックスのメンバーシップ推定攻撃（LBRM）を提案し、 memorization を検出する。
• マスクされた時間窓内の構造的特徴（ピーク）を回復する属性推定攻撃（AIA）を開発する。
• 複数のアーキテクチャにおけるMIA信号とAIAの有効性の相関を示す。
• ゼロショット学習とファインチューニングから訓練されたモデル両方のシナリオで攻撃を評価する。

提案手法

• ターゲットモデルと参照モデルを定義し、DTW（Dynamic Time Warping）を用いて再構成損失を計算する。
• ターゲットモデルと性能が一致する参照モデルを用いて、損失比率R(x)=L_T(x)/L_R(x)を通じて memorization を暴露する。
• 2つのシナリオで訓練する攻撃を実施する： private data から訓練されたモデルと public data からファインチューニングされたモデル。
• 滑動ウィンドウプロトコルとCWT（Continuous Wavelet Transform）ベースのピーク検出器を用いて欠落窓内のピークを特定するAIAを実装する。
• SAITS、Transformer、iTransformer（注意機構ベース）、およびAutoencoder アーキテクチャを用いた、公私データ分割で評価する。
• LBRM をナイーブな損失ベースと比較してAUROCと偽陽性率が低いときのTPRを高めることを示す。

実験結果

リサーチクエスチョン

• RQ1 参照モデルベースのMIA（LBRM）はブラックボックスアクセス下で時系列補完モデルの memorization を信頼性高く検出できるか。
• RQ2 memorization（MIA）と masked time window 内の構造属性を推定する能力（AIA）との間に測定可能な関連があるか。
• RQ3 LBRM 攻撃は注意機構ベースとオートエンコーダの異なる補完アーキテクチャおよび scratch vs. fine-tuning の訓練 regime に一般化するか。
• RQ4 参照モデルを使用することが攻撃性能に与える影響は、損失のみのベースラインと比較してどうか。
• RQ5 提案された AIA は masked 部分のピーク検出でどの程度有効で、MIA の成功とどのように相関するか。

主な発見

• LBRM はSAITS、Transformer、iTransformer、AEの各アーキテクチャにおいて、ナイーブな損失ベースよりもメンバーシップ検出を有意に改善する。
• シナリオを超えて、LBRM は低FPRでのTPRが高く、AUROCが高くなる傾向があり、時系列補完モデルにおける memorization 信号が強いことを示す。
• 再構成挙動を利用したAIA は masked ウィンドウ内のピークの存在と位置を識別でき、AIA の有効性は MIA の性能と相関する。
• 評価したアーキテクチャ全体で、 memorization 傾向（MIA）と構造属性漏えい（AIA）との経験的な強い関係がある。
• memorization に基づく漏えいは scratch とファインチューニングの脅威モデルの両方で持続し、時系列補完における広範なプライバシリティリスクを示す。