[논문 리뷰] Membership Inference on Word Embedding and Beyond

Saeed Mahloujifar, Huseyin A. Inan외 3명|arXiv (Cornell University)|2021. 06. 21.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 14

한 줄 요약

이 논문은 단어 임베딩이 임베딩 레이어에 직접 접근하지 않더라도, 임베딩에 유지된 의미적 관계를 악용하여 블랙박스 멤버십 인식 공격에 취약하다는 것을 보여준다. 이 공격은 단어 임베딩에서 90% 이상의 정확도를 달성하며, 텍스트 분류 및 텍스트 생성과 같은 후속 작업으로 효과적으로 전이되며, 생성 모델에 대한 샤로우 모델 기반 공격에 비해 더 저렴한 대안을 제공한다.

ABSTRACT

In the text processing context, most ML models are built on word embeddings. These embeddings are themselves trained on some datasets, potentially containing sensitive data. In some cases this training is done independently, in other cases, it occurs as part of training a larger, task-specific model. In either case, it is of interest to consider membership inference attacks based on the embedding layer as a way of understanding sensitive information leakage. But, somewhat surprisingly, membership inference attacks on word embeddings and their effect in other natural language processing (NLP) tasks that use these embeddings, have remained relatively unexplored. In this work, we show that word embeddings are vulnerable to black-box membership inference attacks under realistic assumptions. Furthermore, we show that this leakage persists through two other major NLP applications: classification and text-generation, even when the embedding layer is not exposed to the attacker. We show that our MI attack achieves high attack accuracy against a classifier model and an LSTM-based language model. Indeed, our attack is a cheaper membership inference attack on text-generative models, which does not require the knowledge of the target model or any expensive training of text-generative models as shadow models.

연구 동기 및 목표

• 실제 블랙박스 가정 하에서 단어 임베딩이 멤버십 인식 공격에 취약한가를 조사한다.
• 임베딩 레이어가 노출되지 않은 경우에도 단어 임베딩에서 유래한 멤버십 유출이 텍스트 분류 및 텍스트 생성과 같은 후속 NLP 작업으로 지속되는가를 검토한다.
• 대상 모델의 내부 파라미터나 샤로우 모델에 접근할 필요가 없는 멤버십 인식 공격을 개발한다.
• 임베딩 내에서의 의미적 관계를 활용하여 학습 데이터 멤버십을 유추할 수 있는가를 보여준다.
• 임베딩 레이어가 노출되지 않은 경우에도 임베딩에서의 멤버십 유출이 최종 작업 모델로 전이되는가를 평가한다.

제안 방법

• 의미적으로 유사한 단어 쌍(예: 2020년 이메일에서 'remote'와 'work')이 맥락적으로 가까운 경우에 주로 초점을 맞춘, 단어 임베딩 내의 의미적 유사성 패턴을 활용하는 멤버십 인식 공격을 설계한다.
• 대상 모델에 대한 레이블 전용 액세스(블랙박스 설정)만을 사용하여 신뢰도 점수나 모델 파라미터에 의존하지 않는다.
• 공격자의 데이터가 임베딩 함수 학습에 사용된 경우에만 의미적으로 가까운 특수한 단어 쌍을 구성한다.
• 임베딩 레이어와 후속 모델(예: 스팸 분류기 및 LSTM 기반 언어 모델)에 공격를 적용하여 유출 지속성 테스트를 수행한다.
• 코사인 유사도 기반의 임계값을 정의하여 공격 결정을 내리며, 임계값 계산에 대해 명확하고 독립적인 방법을 제시한다.
• 샤로우 모델 학습에 비용이 많이 들지 않는 새로운 비용 효율적인 텍스트 생성 모델을 위한 멤버십 인식 방법을 제안한다.

실험 결과

연구 질문

• RQ1 공격자가 블랙박스 액세스만을 통해 특정 데이터가 단어 임베딩 함수 학습에 사용되었는지 여부를 유추할 수 있는가?
• RQ2 임베딩 레이어가 노출되지 않은 경우에도 단어 임베딩에서 유래한 멤버십 유출이 텍스트 분류 및 텍스트 생성과 같은 후속 NLP 작업으로 전이되는가?
• RQ3 희귀 단어의 기억을 활용하지 않고 임베딩 내 의미적 관계를 악용하는 공격의 효과성은 어떠한가?
• RQ4 모델 신뢰도 점수나 샤로우 모델 학습에 접근하지 않고도 텍스트 생성 모델에 대한 멤버십 인식 공격를 수행할 수 있는가?
• RQ5 임베딩의 품질과 의미적 구조가 멤버십 인식 공격 성공에 미치는 영향은 무엇인가?

주요 결과

• 제안된 멤버십 인식 공격는 블랙박스 레이블 액세스만으로도 단어 임베딩에서 90% 이상의 정확도를 달성한다.
• 임베딩 레이어가 직접 노출되지 않은 경우에도 단어 임베딩에서 유래한 멤버십 유출이 후속 분류 및 텍스트 생성 모델을 통해 지속된다.
• 공격는 실제 데이터셋에서 효과적이며, 대상 모델의 정확한 학습 분포에 접근할 필요가 없다.
• 희귀 중심 단어나 복잡한 임계값 튜닝에 의존하지 않기 때문에 이전 연구에 비해 더 실용적이고 일반화 가능성이 높다.
• 비용이 많이 들지 않는 샤로우 모델 학습이 필요 없이도 텍스트 생성 모델에 대한 멤버십 인식 공격를 수행할 수 있다.
• 이 공격는 이전 연구와 근본적으로 다름을 보이며, 희귀 토큰의 기억을 활용하는 것이 아니라 임베딩 내 의미적 관계를 악용한다.