[논문 리뷰] Data Leakage via Access Patterns of Sparse Features in Deep Learning-based Recommendation Systems
이 논문은 딥러닝 기반 추천 시스템에서 임bedding 테이블에 대한 액세스 패턴이 모델 계산이 은폐되어 있더라도 개인 정보를 泄露할 수 있음을 드러낸다. 스파스 특징 룩업을 분석함으로써, 신뢰할 수 없는 클라우드 환경에 있는 공격자는 사용자를 재식별하고, 민감한 속성을 추론하며, 시간에 따라 행동을 추적할 수 있다. 이는 기존의 피어드 페더레이티드 러닝 및 ORAM 같은 보호 조치가 실시간 추론에 부적합하다는 것을 보여준다.
Online personalized recommendation services are generally hosted in the cloud where users query the cloud-based model to receive recommended input such as merchandise of interest or news feed. State-of-the-art recommendation models rely on sparse and dense features to represent users' profile information and the items they interact with. Although sparse features account for 99% of the total model size, there was not enough attention paid to the potential information leakage through sparse features. These sparse features are employed to track users' behavior, e.g., their click history, object interactions, etc., potentially carrying each user's private information. Sparse features are represented as learned embedding vectors that are stored in large tables, and personalized recommendation is performed by using a specific user's sparse feature to index through the tables. Even with recently-proposed methods that hides the computation happening in the cloud, an attacker in the cloud may be able to still track the access patterns to the embedding tables. This paper explores the private information that may be learned by tracking a recommendation model's sparse feature access patterns. We first characterize the types of attacks that can be carried out on sparse features in recommendation models in an untrusted cloud, followed by a demonstration of how each of these attacks leads to extracting users' private information or tracking users by their behavior over time.
연구 동기 및 목표
- 딥러닝 기반 추천 시스템에서 사용자의 개인 정보가 스파스 특징 임베딩 테이블에 대한 액세스 패턴을 통해 泄露될 수 있는 프라이버시 취약점을 조사한다.
- 신뢰할 수 없는 클라우드 환경에서 액세스 패턴을 악용하는 공격 유형(예: 사용자 재식별, 민감한 속성 추론, 빈도 기반 추적)을 식별하고 분석한다.
- 조작된 계산 기법과 비밀 해시 함수를 사용하더라도, 액세스 패턴 유출이 생산 규모의 추천 시스템에서 치명적인 위협으로 남아 있음을 입증한다.
- 피어드 페더레이티드 러닝 및 옷스러스 랜덤 액세스 메모리(ORAM)와 같은 기존의 프라이버시 보존 기법이 추론 중 액세스 패턴 유출을 방지하는 데에 한계가 있음을 강조한다.
- 기존 연구 초점이 밀도 높은 특징 유출에서 벗어나, 추천 모델에서 다루지 않은 스파스 특징 액세스 패턴 유출이라는 새로운 위협으로 이동시킨다.
제안 방법
- DLRM와 같은 최신 추천 모델 아키텍처를 분석하여, 스파스 특징(예: 사용자 연령, 성별, 아이템 카테고리)이 큰 임베딩 테이블에 어떻게 인덱싱되는지 살펴본다.
- 신뢰할 수 없는 클라우드 서버가 임베딩 테이블에 대한 액세스 패턴을 관찰하고, 이를 사용자 행동과 연관지켜 개인 정보를 유추하는 위협 시나리오를 모델링한다.
- 세 가지 유형의 공격을 설계하고 시뮬레이션한다: (1) 정적 스파스 특징(예: 성별, 연령)을 이용한 사용자 재식별, (2) 동적 스파스 특징(예: 구매한 아이템)에서 민감한 속성을 추론, (3) 시간에 따른 사용자 행동을 빈도 기반으로 추적.
- 통계적 및 패턴 분석을 통해 특정 임베딩 테이블 인덱스에 대한 반복적 액세스를 사용자 정체성 또는 행동과 연관지워, 특징 값에 직접 접근하지 않더라도 가능하게 한다.
- 피어드 페더레이티드 러닝 및 ORAM와 같은 기존의 프라이버시 보존 기법이 이러한 액세스 패턴 공격에 얼마나 효과적인지 평가하며, 실시간 추론 워크로드에서의 한계를 보여준다.
- 비밀 해싱을 통한 입력 오버클로징 조차도 임베딩 테이블에 대한 액세스 패턴이 여전히 정보를 泄露함을 입증함으로써, 입력 오버클로징만으로는 프라이버시 보호가 불충분함을 증명한다.
실험 결과
연구 질문
- RQ1신뢰할 수 없는 클라우드에 있는 공격자가 연령과 성별과 같은 정적 스파스 특징에 대한 액세스 패턴을 기반으로 사용자를 얼마나 정확하게 재식별할 수 있는가?
- RQ2인종, 종교, 정치적 견해와 같은 민감한 속성은 아이템 카테고리나 구매 이력과 같은 동적 스파스 특징의 액세스 패턴 분석을 통해 유추될 수 있는가?
- RQ3임베딩 테이블 액세스 로그만을 사용해도, 액세스 패턴 분석을 통한 빈도 기반 추적은 사용자 행동을 장기간 모니터링하는 데 얼마나 효과적인가?
- RQ4왜 기존의 프라이버시 보존 기법인 피어드 페더레이티드 러닝과 ORAM은 추천 시스템 추론에서 액세스 패턴 유출을 방지하는 데에 부적합한가?
- RQ5입력 특징의 비밀 해싱은 액세스 패턴 유출을 방지할 수 있는가, 아니면 임베딩 테이블에 대한 액세스 패턴이 여전히 개인 정보를 드러내는가?
주요 결과
- 모델 내부 계산이 은폐되어 있더라도, 추천 시스템의 임베딩 테이블 액세스 패턴을 사용해 사용자를 높은 정확도로 재식별할 수 있다.
- 동적 스파스 특징(예: 아이템 카테고리 또는 구매 이력)의 액세스 빈도와 순서를 분석함으로써 성별, 인종, 정치적 견해와 같은 민감한 속성을 추론할 수 있다.
- 빈도 기반 추적 공격는 임베딩 테이블 액세스 패턴만으로도 장기간에 걸친 사용자 행동 패턴을 재구성할 수 있으며, 이는 액세스 패턴을 기반으로 한 장기적 사용자 프로파일링을 가능하게 한다.
- 입력 특징의 비밀 해싱이 이루어져도, 임베딩 테이블에 대한 액세스 패턴이 여전히 정보를 泄露하므로, 입력 오버클로징만으로는 프라이버시 보호가 부족함을 입증한다.
- 피어드 페더레이티드 러닝과 ORAM와 같은 기존의 프라이버시 보존 기법은 실시간 추론 워크로드에서 높은 성능 오버헤드와 동적 액세스 패턴과의 호환성 문제로 인해 효과적이지 않다.
- 이 논문은 현재 연구에서 중요한 격차를 드러낸다: 밀도 높은 특징 유출은 연구되었지만, 모델 파rameter의 99%를 차지하는 임베딩 테이블로 인한 스파스 특징 액세스 패턴 유출은 다수의 연구에서 다루지 않은 채로 남아 있다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.