[논문 리뷰] Auditing Data Provenance in Text-Generation Models

Congzheng Song, Vitaly Shmatikov|arXiv (Cornell University)|2018. 11. 01.

Privacy-Preserving Technologies in Data참고 문헌 44인용 수 16

한 줄 요약

이 논문은 개인 텍스트 데이터가 텍스트 생성 모델을 훈련하는 데 사용되었는지 여부를 검출하기 위해 단어 예측 순위 내의 미세한 기억 패턴을 활용하는 블랙박스 감사 기법을 제안한다. 이 방법은 모델 확률이나 파rameter에 접근할 수 없더라도 희귀어를 포함한 시퀀스를 쿼리하여 잘 일반화된 모델에 대해 완벽한 감사 성능(AUC = 1)을 달성한다.

ABSTRACT

To help enforce data-protection regulations such as GDPR and detect unauthorized uses of personal data, we develop a new \emph{model auditing} technique that helps users check if their data was used to train a machine learning model. We focus on auditing deep-learning models that generate natural-language text, including word prediction and dialog generation. These models are at the core of popular online services and are often trained on personal data such as users' messages, searches, chats, and comments. We design and evaluate a black-box auditing method that can detect, with very few queries to a model, if a particular user's texts were used to train it (among thousands of other users). We empirically show that our method can successfully audit well-generalized models that are not overfitted to the training data. We also analyze how text-generation models memorize word sequences and explain why this memorization makes them amenable to auditing.

연구 동기 및 목표

• 사용자가 배포된 텍스트 생성 모델의 훈련에 자신의 개인 텍스트 데이터가 사용되었는지 확인할 수 있도록 하는 것.
• 모델 파rameter나 신뢰도 점수에 접근할 수 없는 상황에서 감사를 수행하는 데 도전하는 것.
• 과적합하지 않는 잘 일반화된 모델에 대해서도 효과적인 방법을 개발하는 것—기존의 멤버십 추론 기법과는 달리.
• 텍스트 생성 모델이 훈련 데이터를 의도치 않게 어떻게 기억하는지 조사하고, 이를 감사에 활용하는 것.
• 감사에 사용된 입력에 대한 노이즈와 불확실성에 대한 강건성 평가

제안 방법

• 감사자는 모델에 입력 시퀀스를 제출하고 유일하게 관찰 가능한 출력 토큰들만 기반으로 작동하는 블랙박스 기반 쿼리 접근법을 사용한다.
• 희귀어를 포함한 시퀀스에 초점을 맞추며, 이는 무작위로 선택된 시퀀스보다 기억 패턴 탐지에 더 효과적이다.
• 감사자는 모델의 출력 분포에서 대상 단어의 예측 순위를 계산하여, 기억에 의한 순위 이동을 활용한다.
• 훈련 데이터 분포가 알려져 있지 않을 경우 보조 공개 데이터셋을 활용해 감사 과정을 校정한다.
• 목표 모델의 훈련 데이터 분포가 완전히 알려져 있지 않을 경우, 교차 도메인 훈련을 통해 탐지 성능을 향상시킨다.
• 실제로 사용된 입력에 대한 정확한 일치가 불확실한 현실 세계 환경을 반영해 노이즈와 입력의 미세한 변형에 강건하다.

실험 결과

연구 질문

• RQ1 모델 파rameter나 신뢰도 점수에 접근할 수 없더라도 블랙박스 감사 기법이 개인 텍스트 데이터가 텍스트 생성 모델 훈련에 사용되었는지 감지할 수 있는가?
• RQ2 특히 단어 순위에서 나타나는 기억 패턴은 잘 일반화된 모델에 대해 효과적인 감사를 어떻게 가능하게 하는가?
• RQ3 어떤 종류의 입력 시퀀스(예: 희귀어, 특정 맥락 등)가 데이터 기원 탐지에 가장 효과적인가?
• RQ4 감사 방법은 감사에 사용된 입력에 대한 노이즈와 불확실성에 얼마나 강건한가?
• RQ5 훈련 데이터 분포가 알려져 있지 않을 경우 보조 데이터셋이 감사 성능 향상에 기여하는가?

주요 결과

• 제안된 감사 기법은 수백 명의 사용자 데이터로 훈련된 단어 예측, 번역, 대화 생성 모델에서 완벽한 성능(AUC = 1)을 달성한다.
• 희귀어를 포함한 시퀀스는 사용자 데이터에서 무작위 선택된 시퀀스보다 감사에 훨씬 더 효과적이다.
• 노이즈와 입력의 미세한 변형에 강건하여 정확한 입력 일치가 불확실한 실생활 적용에 실용적이다.
• 텍스트 생성 모델은 테스트 정확도 저하가 아니라, 특히 익숙한 맥락에서 희귀어를 선호하는 순위 이동을 통해 기억 패턴을 보인다.
• 비밀리에 보호된 모델조차도 단어 예측에서 검출 가능한 패턴을 보이며, 이는 희귀어 생성 확률이 낮지만 기억 패턴이 일부 존재함을 시사한다.
• 본 연구는 텍스트 생성 모델의 의도하지 않은 기억 패턴을 활용해 데이터 기원 감사를 수행할 수 있음을 입증하며, GDPR 및 유사 규제 준수를 지원한다.