[논문 리뷰] Privacy-Preserving Graph Convolutional Networks for Text Classification

Timour Igamberdiev, Ivan Habernal|TUbilio (Technical University of Darmstadt)|2021. 02. 10.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 5

한 줄 요약

이 논문은 텍스트 분류에서 그래프 컨volution 네트워크(GCNs)의 프라이버시를 보장하기 위해 미분적 프라이버시를 갖춘 확률적 경사 하강법(SGD-DP)을 적응시키고, 새로운 프라이버시 보장 기반 Adam 최적화기(Adam-DP)를 도입함으로써 프라이버시 보장 프레임워크를 제안한다. 무작위 그래프 분할 기법을 사용하여 프라이버시-유용성 트레이드오프를 향상시켜, 여러 영어 및 슬로바크어 NLP 데이터셋에서 ε=1.0로 강력한 프라이버시 보장을 확보하면서도 비프라이버시 F₁ 점수의 최대 90%를 달성한다.

ABSTRACT

Graph convolutional networks (GCNs) are a powerful architecture for representation learning on documents that naturally occur as graphs, e.g., citation or social networks. However, sensitive personal information, such as documents with people's profiles or relationships as edges, are prone to privacy leaks, as the trained model might reveal the original input. Although differential privacy (DP) offers a well-founded privacy-preserving framework, GCNs pose theoretical and practical challenges due to their training specifics. We address these challenges by adapting differentially-private gradient-based training to GCNs and conduct experiments using two optimizers on five NLP datasets in two languages. We propose a simple yet efficient method based on random graph splits that not only improves the baseline privacy bounds by a factor of 2.7 while retaining competitive F1 scores, but also provides strong privacy guarantees of epsilon = 1.0. We show that, under certain modeling choices, privacy-preserving GCNs perform up to 90% of their non-private variants, while formally guaranteeing strong privacy measures.

연구 동기 및 목표

• 텍스트 분류에 사용되는 그래프 컨볼루션 네트워크(GCNs)에서 노드 텍스트와 그래프 구조가 모두 민감한 정보를 드러내는 프라이버시 누출 문제를 해결하기 위해.
• 비독립 동일분포(i.i.d.)가 아닌 데이터와 그래프 구조 의존성으로 인해 이전에 체계적으로 연구되지 않은 GCNs에 대해, 특히 SGD-DP와 Adam-DP를 포함한 프라이버시 보장 최적화 방법을 적응 적용하기 위해.
• 그래프 분할 및 고급 입력 표현 방식이 GCNs에서 일반적으로 발생하는 프라이버시 보장 노이즈로 인한 성능 저하를 완화할 수 있는지 조사하기 위해.
• 다양한 언어로 된 NLP 데이터셋에서 프라이버시-유용성 트레이드오프를 실증적으로 평가하여, 강력한 프라이버시 보장을 유지하면서도 모델의 유용성 손실 없이 성능을 확보하기 위해.

제안 방법

• 원본 그래프를 하위 그래프로 분할하여 DP 학습 중 감도를 감소시키는 랜덤 그래프 분할 전략을 제안하며, 이는 원본 데이터에 대한 추가 쿼리가 필요 없도록 한다.
• 그래프 기반 데이터 의존성을 고려해 기존의 기울기 클리핑 및 노이즈 주입 절차를 수정함으로써 GCNs에 대해 프라이버시 보장 기반 SGD(SGD-DP)를 적응 적용한다.
• 수렴 성능 향상과 학습 에포크 수 감소를 통해 프라이버시-유용성 트레이드오프를 향상시키기 위해, Adam 최적화기의 프라이버시 보장 버전인 Adam-DP를 도입한다.
• 기본 BoW 및 fastText에서부터 고급 BERT 임베딩까지 다양한 입력 표현 방식을 활용하여, DP 성능에 미치는 영향을 평가한다.
• 고정된 프라이버시 예산(ε=1.0)을 적용하고, 다양한 데이터셋과 최적화기에서 F₁ 점수를 평가한다.
• 학술 논문 네트워크, 소셜 미디어, 사용자 관심 분류를 포함하는 총 다섯 개인 NLP 데이터셋(Cora, Citeseer, PubMed, Reddit, Pokec)을 대상으로 표준화된 평가 프로토콜을 적용한다.

실험 결과

연구 질문

• RQ1 비독립 동일분포(i.i.d.)가 아닌 데이터 구조와 그래프 의존성을 가진 GCNs에 대해, 프라이버시 보장 학습이 효과적으로 적용될 수 있는가?
• RQ2 기존 DP 학습 대비 그래프 분할 전략이 GCNs에서 프라이버시-유용성 트레이드오프를 향상시키는가?
• RQ3 다양한 최적화기(SGD-DP 대비 Adam-DP)가 GCNs에서 DP 제약 조건 하에 모델 성능에 어떤 영향을 미치는가?
• RQ4 복잡한 입력 표현 방식(예: BERT)이 GCNs에서 DP 노이즈로 인한 성능 저하를 어느 정도 감소시키는가?
• RQ5 강력한 프라이버시 보장(ε=1.0)을 유지하면서도 GCNs를 활용한 텍스트 분류에서 높은 모델 유용성을 달성할 수 있는가?

주요 결과

• 제안된 그래프 분할 방법은 모든 데이터셋에서 기준 프라이버시 경계를 약 2.7배 향상시키며 경쟁적인 F₁ 점수를 유지한다.
• 그래프 분할과 BERT 임베딩을 조합할 경우, ε=1.0에서 비프라이버시 F₁ 점수의 최대 90%를 달성하여 강력한 유용성 유지 능력을 입증한다.
• Adam-DP는 수렴 속도가 빠르고 학습 에포크 수가 적어 프라이버시-유용성 트레이드오프 측면에서 SGD-DP를 능가하며, 특히 복잡한 입력 특징과 조합했을 때 두드러진 성능 향상을 보인다.
• 보다 고급 입력 표현 방식(예: BERT)은 DP 하에서 성능 저하를 줄이며, BERT 기반 모델은 가장 낮은 성능 저하를 보이며(예: Adam-DP에서 ε=2.0일 때 F₁ 점수 0.84), 이는 프라이버시 노이즈에 더 강건함을 시사한다.
• BoW 표현 방식은 DP 하에서 가장 큰 성능 저하를 보이며(예: SGD-DP에서 ε=2.0일 때 F₁ 점수 0.62), 단순한 특징 표현 방식이 DP 노이즈에 더 취약함을 확인한다.
• 모든 데이터셋에서 강력한 프라이버시 보장(ε=1.0)을 확보하였으며, 소셜 네트워크 및 사용자 관심 프로파일 등 본질적으로 민감한 데이터를 포함한 데이터셋에서도 성능이 유지된다.