[논문 리뷰] Probing Classifiers are Unreliable for Concept Removal and Detection

Abhinav Kumar, Chenhao Tan외 1명|arXiv (Cornell University)|2022. 07. 08.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 신경망 표현에서 비합리적 또는 민감한 개념을 탐지하고 제거하기 위해 흔히 사용되는 프로빙 분류기(probing classifiers)가 근본적으로 신뢰할 수 없다고 보여준다. 조건이 이상적일지라도, 개념 관련 특징이 완벽하게 분리 가능하더라도 프로빙 분류기는 관련된 작업 특징에 의존할 수 있으며, 이는 사후(post-hoc) 및 적대적(adversarial) 제거 방법이 유용한 정보를 제거하거나 목표 개념을 완전히 제거하지 못하게 만든다.

ABSTRACT

Neural network models trained on text data have been found to encode undesirable linguistic or sensitive concepts in their representation. Removing such concepts is non-trivial because of a complex relationship between the concept, text input, and the learnt representation. Recent work has proposed post-hoc and adversarial methods to remove such unwanted concepts from a model's representation. Through an extensive theoretical and empirical analysis, we show that these methods can be counter-productive: they are unable to remove the concepts entirely, and in the worst case may end up destroying all task-relevant features. The reason is the methods' reliance on a probing classifier as a proxy for the concept. Even under the most favorable conditions for learning a probing classifier when a concept's relevant features in representation space alone can provide 100% accuracy, we prove that a probing classifier is likely to use non-concept features and thus post-hoc or adversarial methods will fail to remove the concept correctly. These theoretical implications are confirmed by experiments on models trained on synthetic, Multi-NLI, and Twitter datasets. For sensitive applications of concept removal such as fairness, we recommend caution against using these methods and propose a spuriousness metric to gauge the quality of the final classifier.

연구 동기 및 목표

• 신경망 표현에서 비합리적 또는 민감한 개념을 탐지하고 제거하기 위한 프로빙 분류기의 신뢰성에 대해 조사하기.
• 이론적 우위가 있음에도 불구하고 사후 및 적대적 개념 제거 방법이 실패하는 이유를 분석하기.
• 개념 제거 방법이 작업 관련 특징을 파괴하거나 목표 개념을 제거하지 못하는 실패 유형을 특정하기.
• 정의된 공정성 기반 응용 분야에서 개념 제거 방법의 품질을 평가하기 위한 비합리성 지표(spuriousness metric)를 제안하기.
• 다양한 개념-작업 상관관계 조건에서 합성 데이터, Multi-NLI, Twitter 데이터셋을 통해 이론적 주장의 실증적 검증 수행하기.

제안 방법

• 이론적 분석을 통해 개념 특징이 선형적으로 분리 가능하고 100% 정확할 때조차도 프로빙 분류기가 작업 관련 특징에 대해 비영인 가중치를 학습할 수 있음을 증명한다.
• 논문은 사후 제거 방법인 노름 공간 투영(null space projection)과 적대적 훈련(adversarial training) 방법을 분석하여, 이들이 프로빙 분류기에 의존함으로써 개념 제거가 불안정해지는 이유를 밝힌다.
• 이진 비합리적 특징에 대한 분류기의 의존도를 수량화하기 위해 비합리성 점수(spuriousness score)를 제안하며, 이는 모델의 공정성과 강건성의 대체 지표로 기능한다.
• 합성 데이터, Multi-NLI, Twitter 데이터셋을 사용해 주요 작업과 개념 간 상관관계가 증가하는 조건에서 개념 제거 성능을 평가한다.
• 드롭아웃 정규화를 적용하여 적대적 제거 방법에서 비합리성 감소에 미치는 영향을 평가한다.
• 합성 데이터에서 비합리성 점수를 기준 진실도 Δ-확률(Δ-Probability) 지표와 비교하여 그 신뢰성 검증

실험 결과

연구 질문

• RQ1 프로빙 분류기는 표현에 비합리적 또는 민감한 개념에서 유래한 특징이 포함되어 있는지 신뢰성 있게 탐지할 수 있는가?
• RQ2 사후 및 적대적 개념 제거 방법이 목표 개념을 제거하지 못하고 작업 관련 특징을 유지하는 조건은 언제인가?
• RQ3 주요 작업과 개념 간 상관관계가 개념 제거 방법의 실패 유형에 어느 정도 影響을 미치는가?
• RQ4 제안된 비합리성 점수가 비합리적 특징 의존도를 측정하는 기준 진실도 Δ-확률 지표와 얼마나 관련이 깊은가?
• RQ5 드롭아웃과 같은 정규화 기법이 적대적 개념 제거가 작업 성능에 악영향을 미치는 것을 완화할 수 있는가?

주요 결과

• 개념 특징이 완벽하게 선형적으로 분리되고 100% 정확하더라도 프로빙 분류기는 관련된 작업 특징에 대해 비영인 가중치를 부여할 수 있다.
• 노름 공간 투영을 통한 사후 제거 방법은 개념-작업 상관관계가 증가할수록 주요 작업 특징의 비율이 점점 증가하여 결국 주 분류기가 무작위 추측 수준으로 떨어진다.
• 적대적 제거 방법은 개념 관련 특징을 완전히 제거하지 못하며, 남아 있는 개념 특징은 표준 분류기와 유사한 수준이다.
• 레이블에 30%의 노이즈가 포함된 합성 데이터셋에서, 적대적 제거 방법은 비합리성 점수를 증가시켰지만, ERM 기준 모델은 여전히 0을 유지했다.
• 제안된 비합리성 점수는 합성 데이터에서 기준 진실도 Δ-확률 지표와 높은 피어슨 상관계수(0.83 및 0.95)를 보이며 강력한 타당성을 입증했다.
• 드롭아웃 정규화를 0.0에서 0.9로 증가시키면, 적대적 제거 후 주 분류기의 Δ-확률이 감소하여 정규화가 실패 유형을 완화시킬 수 있음을 시사한다.