[논문 리뷰] Revisiting Label Inference Attacks in Vertical Federated Learning: Why They Are Vulnerable and How to Defend

Yige Liu, Dexuan Xu외 3명|arXiv (Cornell University)|2026. 03. 19.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

이 논문은 수직 연합 학습(VFL) LIAs의 임베딩-레이블 가정을 의문시하고, 상호정보를 통해 하위/상위 모델의 역할을 입증하며, 실증 검증으로 제로 오버헤드 방어를 제시한다.

ABSTRACT

Vertical federated learning (VFL) allows an active party with a top model, and multiple passive parties with bottom models to collaborate. In this scenario, passive parties possessing only features may attempt to infer active party's private labels, making label inference attacks (LIAs) a significant threat. Previous LIA studies have claimed that well-trained bottom models can effectively represent labels. However, we demonstrate that this view is misleading and exposes the vulnerability of existing LIAs. By leveraging mutual information, we present the first observation of the "model compensation" phenomenon in VFL. We theoretically prove that, in VFL, the mutual information between layer outputs and labels increases with layer depth, indicating that bottom models primarily extract feature information while the top model handles label mapping. Building on this insight, we introduce task reassignment to show that the success of existing LIAs actually stems from the distribution alignment between features and labels. When this alignment is disrupted, the performance of LIAs declines sharply or even fails entirely. Furthermore, the implications of this insight for defenses are also investigated. We propose a zero-overhead defense technique based on layer adjustment. Extensive experiments across five datasets and five representative model architectures indicate that shifting cut layers forward to increase the proportion of top model layers in the entire model not only improves resistance to LIAs but also enhances other defenses.

연구 동기 및 목표

• 정보 이론 분석을 사용해 VFL의 하위 및 상위 모델의 실제 역할을 명확히 밝힌다.
• 기존 LIAs가 Genuine 라벨 학습이 아닌 특징-라벨 간의 의도치 않은 정렬에 의존함을 보여준다.
• 특징-라벨 정렬을 방해하는 작업 재배치를 통해 LIAs의 취약점을 시연한다.
• 제로 오버헤드 방어책으로 컷 레이어를 앞으로 이동시켜 상위 모델의 지배력을 증가시킨다.
• 다양한 데이터셋 및 아키텍처에서 방어를 평가하고 기존 방어 전략과의 비교를 수행한다.

제안 방법

• 레이어 간 상호 정보를 분석하기 위해 VFL 아키텍처를 덩어리화된 마코프 체인으로 모델링한다.
• 깊이가 증가함에 따라 하위 및 상위 모델 간의 레이어 출력과 라벨 간의 상호 정보를 경험적으로 추정한다.
• 특징-라벨 정렬을 무너뜨리기 위해 작업 재배치를 도입하고 새로운 작업에서 LIAs의 성능을 평가한다.
• 제로 오버헤드 방어를 제시하기 위해 컷 레이어를 앞으로 이동시켜 상위 모델에 더 많은 모델 용량을 할당한다.
• 원래 작업과 재배치 작업에서 LIAs를 비교하고 공격 정확도를 원래 작업 기준선에 매핑해 공정한 비교를 보장한다.
• 다섯 개 데이터셋과 다섯 개 아키텍처에 걸쳐 결과를 집계하여 발견을 검증한다.

실험 결과

연구 질문

• RQ1 깊이가 증가함에 따라 하위 및 상위 VFL 모델이 라벨에 대한 정보를 차이가 있는가?
• RQ2 LIAs의 성공이 실제 라벨 학습이 아닌 의도치 않은 특징-라벨 정렬 때문일 가능성이 큰가?
• RQ3 작업 재배치를 통해 특징-라벨 정렬을 방해하면 LIAs가 악화되는가, 컷 레이어를 앞으로 이동시키는 방어는 얼마나 견고한가?
• RQ4 컷 레이어를 앞당기면 프라이버시를 강화하고 예측 성능을 해치지 않는가?

주요 결과

• 레이어 출력과 라벨 간의 상호 정보가 레이어 깊이에 따라 증가하며, 상위 모델이 라벨 매핑에서 지배적임을 시사한다.
• 하위 모델은 라벨 표현 능력이 약하고, 수동 파티 수가 증가함에 따라 상위 모델이 더 많은 보상을 보인다.
• 작업 재배치는 LIAs의 성능을 저하시켜 이전의 성공이 true 라벨 학습이 아닌 자연스러운 특징-라벨 정렬에 의존했음을 드러낸다.
• 컷 레이어를 앞으로 이동시키는 것은 LIAs에 대한 제로 오버헤드 방어를 제공하고 전체 모델 성능을 향상시킬 수 있다.
• 다섯 개 데이터셋과 아키텍처에 걸친 실험은 컷 레이어를 앞으로 옮기는 것이 상당한 방어 이점을 제공하고 다른 방어를 강화함을 보여준다.