[論文レビュー] Revisiting Label Inference Attacks in Vertical Federated Learning: Why They Are Vulnerable and How to Defend

Yige Liu, Dexuan Xu+3 more|arXiv (Cornell University)|Mar 19, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

本論文は Vertically Federated Learning (VFL) における埋め込み-ラベル仮定を問い直し、相互情報量を通じて bottom/top モデルの役割を証明し、実証的検証を伴うカット層の前進による無オーバーヘッド防御を提案する。

ABSTRACT

Vertical federated learning (VFL) allows an active party with a top model, and multiple passive parties with bottom models to collaborate. In this scenario, passive parties possessing only features may attempt to infer active party's private labels, making label inference attacks (LIAs) a significant threat. Previous LIA studies have claimed that well-trained bottom models can effectively represent labels. However, we demonstrate that this view is misleading and exposes the vulnerability of existing LIAs. By leveraging mutual information, we present the first observation of the "model compensation" phenomenon in VFL. We theoretically prove that, in VFL, the mutual information between layer outputs and labels increases with layer depth, indicating that bottom models primarily extract feature information while the top model handles label mapping. Building on this insight, we introduce task reassignment to show that the success of existing LIAs actually stems from the distribution alignment between features and labels. When this alignment is disrupted, the performance of LIAs declines sharply or even fails entirely. Furthermore, the implications of this insight for defenses are also investigated. We propose a zero-overhead defense technique based on layer adjustment. Extensive experiments across five datasets and five representative model architectures indicate that shifting cut layers forward to increase the proportion of top model layers in the entire model not only improves resistance to LIAs but also enhances other defenses.

研究の動機と目的

• VFL における底層モデルと上層モデルの実際の役割を情報理論的分析で明らかにする。
• 既存の LIAs が本来のラベル学習ではなく、特徴とラベルの意図しない整列に依存していることを示す。
• 特徴-ラベルの整列を崩すタスク再割り当てにより LIAs の脆弱性を実証する。
• オーバーヘッドなしでカット層を前方へ動かすことで上位モデルの能力の支配を高め、ゼロ・オーバーヘッドの防御を提案する。
• 複数のデータセットとアーキテクチャで防御を評価し、既存の防御戦略に対して検証する。

提案手法

• 層間の相互情報量の推移を分析するために VFL アーキテクチャを集約マルコフ連鎖としてモデリングする。
• 深さが増すにつれて底部モデルと上部モデルの層出力とラベルの間の相互情報量を経験的に推定する。
• 特徴-ラベルの整列を崩すタスク再割り当てを導入し、新しいタスク下で LIA の性能を評価する。
• オーバーヘッドなしでカット層を前進させ、上部モデルへより多くの能力を移すことで防御を提案する。
• 元のタスクと再割り当てタスクの下で LIAs を比較し、攻撃精度を元のタスクのベースラインに対応付けて公正な比較を行う。
• 五つのデータセットと五つのアーキテクチャに渡って結果を統合し、所見を検証する。

実験結果

リサーチクエスチョン

• RQ1 深さが増すにつれて、底部VFLモデルと上部VFLモデルはラベルに関する情報を異なる程度保持するのか。
• RQ2 LIAs の成功は真のラベル学習ではなく、偶然的な特徴-ラベル整列に大きく依存しているのか。
• RQ3 タスク再割り当てによって特徴-ラベル整列を崩すと LIAs は劣化するのか、カット層を前進させる防御はどれほど頑健か。
• RQ4 カット層を前進させることで LIAs に対するプライバシーは向上し、予測性能を損なわないのか。

主な発見

• 層出力とラベルの間の相互情報量は層の深さとともに増大し、ラベルマッピングにおける上位モデルの支配を示している。
• 底部モデルはラベル表現能力が弱く、パッシブパーティが増えるほど上位モデルが補償する傾向が強い。
• タスク再割り当ては LIAs の性能を低下させ、従来の成功は真のラベル学習ではなく自然な特徴-ラベル整列に依存していたことを示す。
• カット層を前進させてモデルの一部を上位へ移すことは LIAs に対するゼロ・オーバーヘッド防御を提供し、全体的なモデル性能を向上させる可能性がある。
• 五つのデータセットとアーキテクチャに渡る実験は、カット層を前方に移すことが防御効果を大きく高め、他の防御を強化することを示している。