[논문 리뷰] Towards Robust and Privacy-preserving Text Representations

Yitong Li, Timothy Baldwin외 1명|arXiv (Cornell University)|2018. 05. 16.

Topic Modeling참고 문헌 15인용 수 23

한 줄 요약

이 논문은 성별, 연령, 거주지와 같은 인구통계학적 특성에 대해 강건한 텍스트 표현을 학습하기 위해 적대적 학습 방법을 제안한다. 이를 통해 프라이버시 보호와 모델 일반화 능력을 향상시킨다. 주 모델과 디스crimิน레이터를 동시에 훈련시켜 이러한 특성을 은폐함으로써, 작업 정확도를 희생시키지 않은 채 도메인 외부 데이터에 대한 성능을 향상시킨다. 감성 분석 및 품사 태깅 작업에서 강력한 프라이버시 성과를 달성한다.

ABSTRACT

Written text often provides sufficient clues to identify the author, their gender, age, and other important attributes. Consequently, the authorship of training and evaluation corpora can have unforeseen impacts, including differing model performance for different user groups, as well as privacy implications. In this paper, we propose an approach to explicitly obscure important author characteristics at training time, such that representations learned are invariant to these attributes. Evaluating on two tasks, we show that this leads to increased privacy in the learned representations, as well as more robust models to varying evaluation conditions, including out-of-domain corpora.

연구 동기 및 목표

• 표현 학습 과정에서 인구통계학적 특성(성별, 연령, 거주지 등)을 명시적으로 은폐함으로써 NLP에서의 모델 편향과 프라이버시 泄露 문제를 해결한다.
• 저자 특성과의 연관성을 줄임으로써 도메인 외부 데이터에 대한 모델 강건성 향상을 도모한다.
• 작업 성능을 유지하면서도 학습된 텍스트 표현의 프라이버시를 향상시키는 방법을 개발한다.
• 적대적 훈련이 숨겨진 표현에서 비공개 특성의 판별 가능성을 줄이는지 실증적으로 평가한다.
• 특히 자원이 제한된 또는 도메인 외부 설정에서, 프라이버시 보호 표현이 높은 작업 성능과 공존할 수 있음을 보여준다.

제안 방법

• 학습된 은닉 표현에서 비공개 특성(성별, 연령, 거주지)의 예측 가능성을 최소화하기 위해 디스crimิน레이터 네트워크를 활용한 적대적 훈련을 사용한다.
• 주 모델을 타겟 레이블(예: 감성 또는 품사 태깅)을 예측하도록 훈련시키면서 동시에 은닉 표현 h에서 비공개 특성을 디스crimิน레이터가 추론할 수 없도록 하는 것을 목표로 한다.
• 주 작업 손실과 적대적 손실을 조합한 가중 손실을 적용하며, 하이퍼파라미터 λ를 통해 프라이버시와 성능의 균형을 조절한다.
• 은닉 표현 h에서 비공개 특성을 예측하기 위해 피드포워드 신경망을 디스crimิน레이터로 활용한다.
• 초기화에 word2vec 임베딩을 사용하고, 은닉 표현 h에 드롭아웃(비율 0.5)을 적용하여 학습을 정규화한다.
• 도메인 내 및 도메인 외부 데이터에서 모델을 평가하며, 작업 정확도와 디스crimิน레이터 성능을 프라이버시의 지표로 측정한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 성별, 연령, 거주지와 같은 인구통계학적 특성을 학습된 텍스트 표현에서 효과적으로 은폐할 수 있는가?
• RQ2 저자 특성과의 연관성 신호를 제거하면, 특히 도메인 외부 데이터에서 모델 일반화 능력이 향상되는가?
• RQ3 하류 NLP 작업의 성능이 떨어지지 않도록 하면서도 프라이버시 보장 표현 학습을 달성할 수 있는가?
• RQ4 비공개 특성을 예측하는 디스crimิน레이터의 성능이 학습된 표현의 프라이버시 수준를 어떻게 반영하는가?
• RQ5 한 특성(예: 거주지)을 보호하면 다른 특성(예: 연령 또는 성별)의 프라이버시도 향상되는가?

주요 결과

• 비밀유지 제약 조건을 추가한 상황에서도, 기준 모델 대비 작업 성능을 유지하거나 略도 향상시켰다. 예를 들어 감성 분석 작업에서 F1 스코어는 40.242를 기록했다.
• 비공개 특성 예측을 위한 디스crimิน레이터 정확도가 크게 떨어졌다. 예를 들어 거주지 예측 정확도는 28.149%로, 다수 클래스 기준선(20.0%)에 근접하여 강력한 프라이버시 보존 효과를 입증했다.
• 감성 분류 작업에서 성별 및 거주지 예측 정확도는 각각 62.468%와 28.149%로 기준선 수준에 근접하여 이러한 특성에 대한 효과적인 은폐가 이루어졌음을 보여주었다.
• 세 특성(성별, 연령, 거주지)을 모두 보호하도록 훈련한 모델(adv-all)이 가장 우수한 프라이버시 성과를 보였으며, 모든 특성에 대해 디스crimิน레이터 정확도가 다수 클래스 기준선 수준 이하 또는 근접하였다.
• 품사 태깅 작업에서는 기준 모델의 매크로 평균 정확도 71.66%에서 adv-all 모델이 77.02%로 향상되어 도메인 이동에 대한 강건성이 향상됨을 보여주었다.
• 결과적으로 저자 특성과의 연관성 신호를 제거하면, 특히 도메인 외부 평가에서 더 강건한 표현이 도출됨을 확인했다.