[논문 리뷰] Adversarial Removal of Demographic Attributes from Text Data

Yanai Elazar, Yoav Goldberg|arXiv (Cornell University)|2018. 08. 20.

Topic Modeling참고 문헌 32인용 수 10

한 줄 요약

이 논문은 신경망 내 텍스트 표현에서 인구통계적 특성(예: 성별, 인종, 연령)을 제거하기 위해 적대적 훈련을 조사한다. 적대적 훈련이 특성 예측 가능성을 감소시키지만, 사후 분류기(post-hoc classifier)는 여전히 인코딩된 표현에서 인구통계적 정보를 정확하게 복원할 수 있으며, 이는 적대적 성능 자체가 텍스트 데이터에서 진정한 인구통계적 불변성에 대한 신뢰할 수 없는 지표임을 드러낸다.

ABSTRACT

Recent advances in Representation Learning and Adversarial Training seem to succeed in removing unwanted features from the learned representation. We show that demographic information of authors is encoded in -- and can be recovered from -- the intermediate representations learned by text-based neural classifiers. The implication is that decisions of classifiers trained on textual data are not agnostic to -- and likely condition on -- demographic attributes. When attempting to remove such demographic information using adversarial training, we find that while the adversarial component achieves chance-level development-set accuracy during training, a post-hoc classifier, trained on the encoded sentences from the first part, still manages to reach substantially higher classification accuracies on the same data. This behavior is consistent across several tasks, demographic properties and datasets. We explore several techniques to improve the effectiveness of the adversarial component. Our main conclusion is a cautionary one: do not rely on the adversarial training to achieve invariant representation to sensitive features.

연구 동기 및 목표

• 텍스트 기반 신경 분류기의 중간 표현에 성별, 인종, 연령과 같은 인구통계적 특성이 포함되어 있는지 조사하기 위해.
• 학습된 표현에서 이러한 인구통계적 정보를 제거하는 데 있어 적대적 훈련의 효과성을 평가하기 위해.
• 적대적 구성 요소의 성능이 보호된 특성의 성공적인 제거를 신뢰할 수 있는 지표로 사용할 수 있는지 평가하기 위해.
• 텍스트 표현에서 인구통계적 불변성을 달성하기 위해 적대적 훈련의 효과를 향상시키는 방법을 탐색하기 위해.
• 공정성에 중점을 둔 NLP에서 적대적 훈련에 맹신하는 것을 경고하고, 표현 불변성에 대한 외부 검증의 필요성을 주장하기 위해.

제안 방법

• 모델은 이중 스트림 아키텍처를 사용한다: 입력 텍스트 x를 표현 벡터 h_x로 매핑하는 인코더 h(x)와, 주요 작업을 위한 메인 분류기 c(h(x)) 및 보호된 특성 z를 예측하기 위한 적대자 adv(h(x))로 구성된다.
• 적대적 훈련은 주요 작업 정확도와 적대적 실패를 함께 최적화한다. 기울기 반전 기법(gradient reversal)을 사용하여, 인코더는 주요 작업 손실을 최소화하면서 적대자의 손실를 최대화하도록 훈련된다.
• 기울기 반전 레이어(GRL)는 역전파 중에 적대자로부터 유도되는 기울기를 −λ 비율로 스케일링하여, 상반된 목표를 가진 엔드 투 엔드 훈련을 가능하게 한다.
• 사후 분류기(post-hoc classifiers)는 인코딩된 표현에 대해 훈련되어, 적대적 훈련 이후에도 인구통계적 정보가 남아 있는지 평가한다.
• 다양한 데이터셋과 인구통계적 특성(성별, 인종, 연령)에 대해 실험을 수행하며, 적대적 성능와 사후 정확도를 비교한다.
• 모델 용량, 적대자 가중치, 앙상블 방법을 탐색하여 적대적 강건성과 표현 불변성을 향상시킨다.

실험 결과

연구 질문

• RQ1 성별, 인종, 연령과 같은 인구통계적 특성이 관련이 없는 작업에 대해 훈련된 텍스트 분류기의 중간 표현에 얼마나 깊이 통합되어 있는가?
• RQ2 적대적 훈련이 적대자 성능 측정 기준으로서 텍스트 표현에서 인구통계적 정보를 효과적으로 제거하는가?
• RQ3 적대자 구성 요소가 잘 작동하더라도, 인코딩된 표현에 대해 훈련된 사후 분류기가 여전히 인구통계적 특성을 정확하게 예측할 수 있는가?
• RQ4 적대적 훈련 설정의 수정(예: 용량, 가중치, 앙상블)으로는 인구통계적 신호의 제거가 어떻게 향상되는가?
• RQ5 적대자 구성 요소의 성능이 표현 내 진정한 인구통계적 불변성의 신뢰할 수 있는 지표인가?

주요 결과

• 성별, 인종, 연령과 같은 인구통계적 특성은 주로 관련이 없는 작업에 대해 훈련된 텍스트 분류기의 중간 표현에 뚜렷하게 통합되어 있으며, 조건이 균형 잡혀 있더라도 마찬가지다.
• 개발 세트에서 우연 수준의 정확도를 달성했음에도 불구하고, 적대자 구성 요소는 여전히 인구통계적 정보를 완전히 제거하지 못했으며, 사후 분류기는 상당히 높은 정확도를 기록했다(예: 성별 75.3%, 인종 65.4%, 연령 58.1%).
• 훈련 중 적대자 분류기의 성능은 진정한 불변성의 신뢰할 수 있는 지표가 아니며, 외부 검증을 위해 사후 공격자(post-hoc attacker)를 사용하는 것이 필수적이다.
• 적대자 구성 요소의 용량과 가중치를 조정하거나, 다수의 적대자 앙상블을 사용하면 성능이 향상되지만, 잔류하는 인구통계적 정보를 완전히 제거하지는 못한다.
• 모든 데이터셋과 특성에 대해 일관되게 보호된 특성을 완전히 제거하는 데 성공한 단일 방법은 존재하지 않으며, 이는 적대적 훈련이 이 작업에 있어 본질적인 한계를 지닌다는 것을 시사한다.
• 연구는 적대적 훈련을 텍스트 표현에서 인구통계적 불변성을 달성하기 위한 유일한 방법으로 신뢰해서는 안 된다고 결론 내린다.