[논문 리뷰] Linear Adversarial Concept Erasure

Shauli Ravfogel, Michael Twiton외 2명|arXiv (Cornell University)|2022. 01. 28.

Adversarial Robustness in Machine Learning인용 수 23

한 줄 요약

선형 최소극대 프레임워크를 도입하여 사전 학습된 표현에서 개념 서브스페이스를 식별하고 제거하며, R-LACE라는 볼록 완화를 제시하여 정적 및 컨텍스트 모델의 편향을 효과적으로 완화하면서 해석 가능성을 유지한다.

ABSTRACT

Modern neural models trained on textual data rely on pre-trained representations that emerge without direct supervision. As these representations are increasingly being used in real-world applications, the inability to \emph{control} their content becomes an increasingly important problem. We formulate the problem of identifying and erasing a linear subspace that corresponds to a given concept, in order to prevent linear predictors from recovering the concept. We model this problem as a constrained, linear maximin game, and show that existing solutions are generally not optimal for this task. We derive a closed-form solution for certain objectives, and propose a convex relaxation, \method, that works well for others. When evaluated in the context of binary gender removal, the method recovers a low-dimensional subspace whose removal mitigates bias by intrinsic and extrinsic evaluation. We show that the method is highly expressive, effectively mitigating bias in deep nonlinear classifiers while maintaining tractability and interpretability.

연구 동기 및 목표

• 고정된 표현에서 선형 개념의 사후 제거를 동기화하고 형식화하여 선형 예측기가 그 개념을 회복하지 못하도록 한다.
• 편향 서브스페이스를 식별하고 표현을 그것의 직교 여집합에 투영하기 위한 제약된 선형 minimax 게임을 정의한다.
• 일부 목적에 대한 닫힌 형식 해를 도출하고 분류 과제를 위한 볼록 완화(R-LACE)를 개발한다.
• 정적(GloVe) 및 컨텍스트형(BERT) 표현에서의 성별 편향 제거를 평가하고 편향 완화 및 작업 영향력을 분석한다.

제안 방법

• 문제를 P = I_D − W^T W, WW^T = I_k를 만족시키는 직교 투영 기반의 minimax 게임으로 모델링하여 rank-k 서브스페이스 B를 중립화한다.
• 선형 회귀, 부분최대제곱(PLS; Rayleigh quotient) 및 로지스틱 회귀에 특화하여 회귀 및 Rayleigh quotient 사례에 대한 닫힌 형식 해를 도출한다.
• 프로젝션 행렬의 집합을 Fantope로 볼록 완화하여 R-LACE를 도입하고 분류 과제에서 그래디언트 기반 최적화를 가능하게 한다.
• 완화된 문제를 풀기 위해 θ와 P 사이의 교대 최적화 알고리즘을 제공하고 Fantope(볼록 껍질)로의 투영을 수행한다.

실험 결과

연구 질문

• RQ1 고정된 표현에서 타깃 개념을 회복하는 선형 예측기를 투영으로 차단하는 선형 서브스페이스를 식별할 수 있는가?
• RQ2 주어진 개념에 대한 손실을 최대화하면서 입력 정보를 다른 방식으로 보존하기 위해 중립화할 최적의(가장 작은 rank k) 서브스페이스는 무엇인가?
• RQ3 제안된 R-LACE 볼록 완화가 분류 과제에서 정확한 minimax 해 및 INLP와 비교하여 어떤 성능을 보이는가?
• RQ4 선형 개념 제거 방법이 딥 뉴럴 네트워크의 비선형 분류기와 실제 편향 지표로의 전이 효과를 보이는가?

주요 결과

모델	성별 예측 정확도	직업 예측 정확도	GAP_Male,y^{TPR,RMS}	sigma_{(GAP^{TPR},%Women)}
BERT-frozen	99.32	79.14	0.145	0.813
BERT-frozen + RLACE (rank 1)	52.48	78.86	0.109	0.680
BERT-frozen + RLACE (rank 100)	52.77	77.28	0.102	0.615
BERT-frozen + INLP (rank 1)	98.98	79.09	0.137	0.816
BERT-frozen + INLP (rank 100)	53.21	71.94	0.099	0.604
BERT-finetuned	96.89 ± 1.01	85.12 ± 0.08	0.123 ± 0.011	0.810 ± 0.023
BERT-finetuned + RLACE (rank 1)	54.59 ± 0.66	85.09 ± 0.07	0.117 ± 0.011	0.794 ± 0.025
BERT-finetuned + RLACE (rank 100)	54.33 ± 0.36	85.04 ± 0.09	0.115 ± 0.014	0.792 ± 0.025
BERT-finetuned + INLP (rank 1)	93.52 ± 1.42	85.12 ± 0.08	0.122 ± 0.011	0.808 ± 0.024
BERT-finetuned + INLP (rank 100)	53.04 ± 0.97	84.98 ± 0.06	0.113 ± 0.009	0.797 ± 0.027
BERT-adv (MLP adversary)	99.57 ± 0.05	84.87 ± 0.11	0.128 ± 0.004	0.840 ± 0.015
BERT-adv (Linear adversary)	99.23 ± 0.09	84.92 ± 0.12	0.124 ± 0.005	0.827 ± 0.012
Majority	53.52	30.0	-	-

• 선형 minimax 형태는 개념의 선형 예측 가능성을 줄이는 저차원 편향 서브스페이스를 식별할 수 있다.
• 선형 회귀 및 Rayleigh quotient(예: PLS) 설정에 대해 닫힌 형식의 평형이 존재하며 최적의 θ와 P가 해석적으로 특성화된다.
• 볼록 완화인 R-LACE는 θ와 P 사이의 교대 최적화를 통해 Fantope로의 투영을 수행하며 분류 기반 개념 제거를 효과적으로 해결한다.
• 성별 편향 실험에서 rank-1 투영이 GloVe의 선형 성별 정보를 중립화하는 데 대개 충분하며 의미 콘텐츠는 유지되고 비선형 모델이 여전히 성별을 예측하도록 허용한다.
• R-LACE는 정적 및 컨텍스트 임베딩 모두에서 상당한 편향 완화를 달성하며, 유사하거나 더 나은 편향 감소에 필요한 반복 횟수 측면에서 종종 INLP보다 우수하다.
• 실험은 선형 제거가 다운스트림 작업에서 성별 편향 감소 등 공정성 지표를 개선하고, 파인튜닝된 모델의 주된 작업 성능에는 미미한 영향을 준다는 것을 보여준다.