[논문 리뷰] Information Leakage in Embedding Models

Congzheng Song, Ananth Raghunathan|arXiv (Cornell University)|2020. 03. 31.

Adversarial Robustness in Machine Learning참고 문헌 75인용 수 12

한 줄 요약

이 논문은 사전 훈련된 임bedding 모델이 의미적 의미를 초월해 민감한 정보를 泄露한다는 것을 입증한다. 이는 복구 가능한 입력 텍스트, 저자성, 희귀 훈련 예제의 소속성을 포함한다. 역방향, 특성 추론, 소속성 공격을 통해 저자들은 입력 단어의 50–70%를 복구할 수 있었으며(F1 0.5–0.7), 소량의 레이블된 예제로도 저자성을 추론할 수 있었고, 이는 적대적 훈련을 통한 방어 조치를 통해 유용성 손실을 최소화하면서 泄露를 감소시켰다.

ABSTRACT

Embeddings are functions that map raw input data to low-dimensional vector representations, while preserving important semantic information about the inputs. Pre-training embeddings on a large amount of unlabeled data and fine-tuning them for downstream tasks is now a de facto standard in achieving state of the art learning in many domains. We demonstrate that embeddings, in addition to encoding generic semantics, often also present a vector that leaks sensitive information about the input data. We develop three classes of attacks to systematically study information that might be leaked by embeddings. First, embedding vectors can be inverted to partially recover some of the input data. As an example, we show that our attacks on popular sentence embeddings recover between 50\%--70\% of the input words (F1 scores of 0.5--0.7). Second, embeddings may reveal sensitive attributes inherent in inputs and independent of the underlying semantic task at hand. Attributes such as authorship of text can be easily extracted by training an inference model on just a handful of labeled embedding vectors. Third, embedding models leak moderate amount of membership information for infrequent training data inputs. We extensively evaluate our attacks on various state-of-the-art embedding models in the text domain. We also propose and evaluate defenses that can prevent the leakage to some extent at a minor cost in utility.

연구 동기 및 목표

• 임베딩 모델이 의미적 내용을 초월해 민감한 정보를 의도치 않게 泄露하는지 조사하는 것.
• 입력 복원, 민감한 특성 추론, 임베딩 벡터 내의 소속성 추론을 대상으로 하는 체계적 공격을 개발하는 것.
• 최신 텍스트 임베딩 모델들 간의 정보 泄露 정도를 평가하는 것.
• 유용성 손실을 최소화하면서 泄露를 감소시키는 방어 조치를 제안하고 평가하는 것.

제안 방법

• 문장 임베딩 벡터에서 입력 텍스트를 복원하기 위해 기울기 기반 최적화를 사용하는 제안된 임베딩 역방향 공격.
• 소량의 레이블된 데이터셋을 사용하여 민감한 특성(예: 저자성)을 임베딩에서 예측하는 모델을 훈련시키기 위한 특성 추론 공격 개발.
• 훈련 데이터와의 유사도 점수를 기반으로 한 소속성 추론 공격을 정의하며, 희귀 입력을 대상으로 한다.
• 특히 역방향 및 특성 추론을 대상으로 하여, 임베딩 모델 훈련 중에 적대적 훈련을 적용하여 泄露를 최소화한다.
• BERT, SBERT, Universal Sentence Encoder를 포함한 여러 최신 모델을 대상으로 공격 및 방어 조치를 평가한다.
• 공격 성능 및 유용성의 상충 관계를 정량화하기 위해 F1 점수, 정확도, AUC를 사용한다.

실험 결과

연구 질문

• RQ1 문장 임베딩 벡터에서 입력 텍스트를 어느 정도 복원할 수 있는가?
• RQ2 소량의 레이블된 데이터로 임베딩에서 저자성과 같은 민감한 특성을 추론할 수 있는가?
• RQ3 임베딩 벡터의 유사도를 통해 희귀 훈련 예제의 소속 정보가 임베딩 모델에 泄露되는가?
• RQ4 적대적 훈련이 모델 유용성에 크게 영향을 주지 않으면서 정보 泄露를 효과적으로 감소시킬 수 있는가?

주요 결과

• 임베딩 역방향 공격는 문장 수준 복원에서 입력 단어의 50%에서 70%를 복원했으며, F1 점수는 0.5에서 0.7 사이를 기록했다.
• 소량의 레이블된 임베딩 벡터만으로도 텍스트 입력의 저자성을 높은 정확도로 추론할 수 있었으며, 이는 강력한 특성 泄露를 보여준다.
• 소속성 추론 공격는 훈련 데이터와의 임베딩 유사도 점수를 비교하여 희귀 훈련 예제를 성공적으로 식별했으며, 훈련 데이터 소속 정보의 중간 정도의 泄露를 시사한다.
• 적대적 훈련을 통한 방어 조치는 역방향 및 특성 추론 공격의 성공률을 감소시켰지만, 모델 유용성에 약간의 측정 가능한 감소가 있었다.
• 이 연구는 임베딩이 의미적 표현을 넘어서도 공격자가 악용할 수 있는 민감한 정보를 담고 있음을 드러내며, 이들이 배포에 안전하다는 가정을 도전한다.
• 고도로 매개변수화된 대규모 임베딩 모델에 대해 차별적 프라이버시는 계산적으로 비현실적이며, 높은 매개변수 수와 초파rameter 민감도로 인해 어렵다는 것이 밝혀졌다.