[논문 리뷰] Understanding Rare Spurious Correlations in Neural Networks

Yao-Yuan Yang, Chou, Chi-Ning외 1명|arXiv (Cornell University)|2022. 02. 10.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 신경망이 소수의 훈련 예제에서만 나타나는 희귀한 유사 상관관계(의도하지 않은 패턴)를 어떻게 학습하는지 조사하며, 단 한 개의 예시조차도 강력하고 해로운 상관관계를 유도할 수 있음을 보여준다. 이 상관관계가 프라이버시와 테스트 정확도를 떨어뜨린다는 점을 입증하고, 입력 노이즈와 ℓ₂ 정규화를 통한 완화 전략을 제안한다. 이 전략은 데이터나 모델 구조에 대한 가정 없이도 효과적으로 희귀한 상관관계 학습을 줄인다.

ABSTRACT

Neural networks are known to use spurious correlations such as background information for classification. While prior work has looked at spurious correlations that are widespread in the training data, in this work, we investigate how sensitive neural networks are to rare spurious correlations, which may be harder to detect and correct, and may lead to privacy leaks. We introduce spurious patterns correlated with a fixed class to a few training examples and find that it takes only a handful of such examples for the network to learn the correlation. Furthermore, these rare spurious correlations also impact accuracy and privacy. We empirically and theoretically analyze different factors involved in rare spurious correlations and propose mitigation methods accordingly. Specifically, we observe that $\ell_2$ regularization and adding Gaussian noise to inputs can reduce the undesirable effects. Code available at https://github.com/yangarbiter/rare-spurious-correlation.

연구 동기 및 목표

• 희귀한 유사 상관관계가 소수의 훈련 예제에서만 나타날 경우 신경망이 이를 학습하는지, 그리고 어떻게 학습하는지 이해하는 것.
• 분포 이탈 상황에서 유사 상관관계가 모델의 프라이버시(멤버십 추론 공격을 통해 측정)와 테스트 정확도에 미치는 영향을 조사하는 것.
• 데이터나 모델 구조에 대한 가정 없이도 일반적으로 적용 가능한 완화 전략을 개발하고 평가하는 것.
• 멤버십 추론 공격의 통찰과 희귀한 유사 패턴에 대한 적대적 내성성의 통찰을 융합하는 것.
• 희귀한 유사 패턴에 최소한의 노출이 있어도 모델의 취약성이 크게 발생할 수 있음을 이론적이고 실증적으로 입증하는 것.

제안 방법

• 목표 클래스의 소수의 훈련 이미지에 유사 패턴(예: 색상 배경)을 도입하여 '유사 예제'를 생성한다.
• 수정된 데이터셋으로 신경망을 훈련하고, 정의된 유사 점수를 사용해 유사 상관관계 강도를 측정한다.
• 유사 예제 비율과 신호 대 잡음 비율에 기반해 유사 상관관계 학습의 단계 전이를 분석하기 위해 이론적 토이 모델을 도입한다.
• 멤버십 추론 공격를 사용해 프라이버시 위험을 평가하고, 악성 공격자가 유사 훈련 샘플과 테스트 데이터를 구분할 능력을 측정한다.
• 분포 이탈 상황에서의 테스트 정확도를 평가하기 위해 청소된 테스트 정확도와 유사 테스트 정확도(테스트 세트에 패턴을 추가한 경우)를 측정한다.
• 완화 전략을 시험: 입력 가우시안 노이즈 주입, ℓ₂ 정규화(가중치 감쇠), 기울기 클리핑을 비교 분석한다.

실험 결과

연구 질문

• RQ1 유사 예제 비율(예: 60,000개 중 1개)이 어느 임계값에 도달하면 신경망이 강력한 유사 상관관계를 학습하고 나타내기 시작하는가?
• RQ2 희귀한 유사 상관관계는 멤버십 추론 공격에 취약하게 하여 모델의 프라이버시에 어떤 영향을 미치는가?
• RQ3 희귀한 유사 상관관계는 분포 이탈 상황에서 테스트 정확도에 어떤 영향을 미치는가? 특히 유사 패턴이 일반화될 경우에 대해 말이다.
• RQ4 어떤 정규화 기법이 응용 분야에 특화된 가정 없이도 희귀한 유사 상관관계의 악영향을 효과적으로 완화하는가?

주요 결과

• 60,000개 중 단 한 개의 유사 예제만 포함된 훈련을 거친 신경망도 기준선보다 유의미하게 높은 유사 점수를 기록하여 강력한 상관관계 학습이 이루어졌음을 시사한다.
• 유사 예제는 멤버십 추론 공격에 상당히 취약하여, 희귀한 유사 패턴이 프라이버시 유출을 유발할 수 있음을 확인한다.
• 청소된 테스트 정확도는 대부분 안정되어 있으나, 분포 이탈 상황에서 유사 테스트 정확도는 급격히 떨어지며, 이는 유사 상관관계가 이러한 패턴이 흔해질 경우 성능 저하를 초래함을 시사한다.
• 입력 가우시안 노이즈 주입과 ℓ₂ 정규화는 유사 상관관계 강도를 효과적으로 감소시키며 프라이버시와 내성성 향상에 기여하지만, 기울기 클리핑은 유의미한 효과를 보이지 않는다.
• 이론적 분석을 통해 유사 예제 비율이 0에서 증가함에 따라 상관관계 학습에 날카로운 단계 전이가 발생하는 것으로 드러나, 모델의 기억화에 대한 임계점이 존재함을 입증한다.
• 다양한 유사 패턴과 모델 아키텍처는 서로 다른 취약성 수준을 보이며, 이는 유사 상관관계 유도의 효과성이 데이터셋 및 모델 특성에 따라 달라질 수 있음을 시사한다.