[논문 리뷰] Membership Inference Attacks on Knowledge Graphs

Yu Wang, Huang, Lifu외 2명|arXiv (Cornell University)|2021. 04. 16.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 9

한 줄 요약

이 논문은 지식 그래프 임bedding(KGE) 모델에 대한 소유자 추론 공격(MIAs)에 대한 최초의 실증 연구를 제시한다. 공격 유형으로는 전이 공격(TAs), 예측 손실 기반 공격(PLAs), 예측 정확도 기반 공격(PCAs)을 제안하며, 이는 모델 출력에 대한 블랙박스 접근을 이용한다. 이 공격들은 벤치마크 및 실제 의료 및 금융 지식 그래프에서 높은 성공률(최대 99.47%)을 기록하여, 캘리브레이션되지 않은 스케일 프리 예측 점수와 모델 아키텍처 불일치로 인한 KGE에서의 심각한 프라이버시 泄露를 드러낸다.

ABSTRACT

Membership inference attacks (MIAs) infer whether a specific data record is used for target model training. MIAs have provoked many discussions in the information security community since they give rise to severe data privacy issues, especially for private and sensitive datasets. Knowledge Graphs (KGs), which describe domain-specific subjects and relationships among them, are valuable and sensitive, such as medical KGs constructed from electronic health records. However, the privacy threat to knowledge graphs is critical but rarely explored. In this paper, we conduct the first empirical evaluation of privacy threats to knowledge graphs triggered by knowledge graph embedding methods (KGEs). We propose three types of membership inference attacks: transfer attacks (TAs), prediction loss-based attacks (PLAs), and prediction correctness-based attacks (PCAs), according to attack difficulty levels. In the experiments, we conduct three inference attacks against four standard KGE methods over three benchmark datasets. In addition, we also propose the attacks against medical KG and financial KG. The results demonstrate that the proposed attack methods can easily explore the privacy leakage of knowledge graphs.

연구 동기 및 목표

• 특정 삼중항이 훈련에 사용되었는지 여부를 추론하는 소유자 추론 공격(MIAs)을 통해 지식 그래프 임베딩(KGE) 모델의 프라이버시 리스크를 조사한다.
• 모델 파라미터나 임베딩에 접근할 수 없는 블랙박스 KGE 공격 문제를 해결한다. 이는 공격자가 모델의 출력 점수나 레이블에만 의존해야 하는 상황을 시뮬레이션한다.
• 제한된 공격자 지식과 캘리브레이션되지 않은 예측 점수를 고려한 현실적인 위협 모델 하에서 MIAs의 타당성과 효과성을 평가한다.
• 벤치마크 데이터셋과 의료 및 금융 지식 그래프와 같은 민감한 실제 지식 그래프를 사용하여 KGE의 취약성을 입증한다.
• 기존 모델에서 심각한 프라이버시 泄露가 존재함을 실증적으로 드러내어 프라이버시 보장 KGE 기법의 개발을 촉구한다.

제안 방법

• 공격자 지식 범위에 기반한 세 가지 MIA 기법을 제안한다: 전이 공격(TAs)은 타겟 모델과 유사한 아키텍처를 가진 샤로우 모델을 사용한다; 예측 손실 기반 공격(PLAs)은 소속 및 비소속 샘플 간의 손실 값 비교에 기반한다; 예측 정확도 기반 공격(PCAs)은 레이블 예측에만 의존한다.
• 공격자가 타겟 모델의 출력 점수나 레이블을 뿐만이 아니라, 실제 제약 조건을 반영하는 블랙박스 공격 설정을 설계한다.
• TAs에서 공격자 모델을 훈련하기 위해 타겟 KG와 유사한 분포를 가진 샤로우 데이터셋을 사용하며, 이는 공격 지식의 전이를 가능하게 한다.
• 모델별 스코어링 함수(예: TransE/TransH의 마진 기반, DistMult/ComplEx의 로지스틱 기반)를 사용하고 스코어 분포를 분석하여 훈련 소속 여부를 탐지한다.
• TransE, TransH, DistMult, ComplEx의 네 가지 표준 KGE 모델을 대상으로, 세 가지 벤치마크 데이터셋(DDB14 등)과 두 가지 민감한 지식 그래프(의료 및 금융)에 대해 공격를 적용한다.
• 샤로우 모델과 타겟 모델 간의 모델 아키텍처 불일치가 미치는 영향을 분석하여, 스코어링 행동이 다를 경우(예: 마진 기반 vs. 로지스틱 기반) 공격가 실패함을 보여준다.

실험 결과

연구 질문

• RQ1 제한된 공격자 지식이 있는 현실적인 블랙박스 설정에서 KGE 모델에 대해 소유자 추론 공격를 효과적으로 수행할 수 있는가?
• RQ2 KGE 모델 아키텍처의 선택(예: 마진 기반 vs. 로지스틱 기반)이 소유자 추론 공격의 성공에 어떤 영향을 미치는가?
• RQ3 KGE에서 캘리브레이션되지 않은 스케일 프리 예측 점수는 어느 정도까지 소유자 추론을 통한 프라이버시 泄露를 가능하게 하는가?
• RQ4 샤로우 모델이 타겟 모델과 아키텍처가 다를 경우 전이 공격의 성능는 어떻게 되는가?
• RQ5 의료 및 금융 지식 그래프와 같은 민감한 지식 그래프에 대해 소유자 추론 공격가 성공적으로 작동하는가?

주요 결과

• KGE 모델에 대한 소유자 추론 공격는 높은 성공률을 기록하며, 샤로우 모델과 타겟 모델이 동일한 손실 함수를 사용할 경우 전이 공격의 정확도가 최대 99.47%에 이른다.
• 샤로우 모델이 다른 스코어링 행동(예: 로지스틱 기반 샤로우 모델이 마진 기반 타겟 모델을 공격할 경우)을 사용할 경우, 스코어 분포의 불일치로 인해 공격 성능이 50%로 떨어지며 이는 무작위 추측 수준이다.
• 예측 손실 기반 공격(PLAs)과 예측 정확도 기반 공격(PCAs)은 모델 파라미터에 접근하지 않더라도 손실 또는 레이블 쿼리에만 의존하여 효과적으로 작동한다.
• 본 연구는 의료 및 금융 지식 그래프와 같은 민감한 데이터셋에서 훈련된 KGE가 소유자 추론 공격에 취약하며, 이로 인해 개인 환자 또는 금융 기록이 노출될 수 있음을 입증한다.
• 결과적으로 KGE는 캘리브레이션되지 않은 스케일 프리 출력 점수와 예측에서 엔티티 및 관계 임베딩를 역으로 복원할 수 없는 점으로 인해 MIAs에 취약하다.
• 본 연구는 기존 KGE 방법에 심각한 프라이버시 격차가 존재함을 드러내며, 프라이버시 보장 KGE 모델의 개발을 촉구한다.