[논문 리뷰] On the relationship between class selectivity, dimensionality, and robustness

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|2020. 07. 08.

Imbalanced Data Classification Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 딥 네ural 네트워크에서 특정 클래스에 대해 뉴런이 얼마나 선택적으로 반응하는지에 대한 클래스 선택성과 내성성 간의 인과 관계를 조사한다. 클래스 선택성 정규화 기법을 사용하여, 저수준의 선택성이 자연스러운 손상(예: 흐림, 밝기 변화)에 대한 내성성을 향상시키지만, 기울기 기반의 적대적 공격에 더 취약하게 만들며, 활성화 변화의 표현 차원이 증가함에 따라 적대적 취약성이 발생함을 보여준다.

ABSTRACT

While the relative trade-offs between sparse and distributed representations in deep neural networks (DNNs) are well-studied, less is known about how these trade-offs apply to representations of semantically-meaningful information. Class selectivity, the variability of a unit's responses across data classes or dimensions, is one way of quantifying the sparsity of semantic representations. Given recent evidence showing that class selectivity can impair generalization, we sought to investigate whether it also confers robustness (or vulnerability) to perturbations of input data. We found that mean class selectivity predicts vulnerability to naturalistic corruptions; networks regularized to have lower levels of class selectivity are more robust to corruption, while networks with higher class selectivity are more vulnerable to corruption, as measured using Tiny ImageNetC and CIFAR10C. In contrast, we found that class selectivity increases robustness to multiple types of gradient-based adversarial attacks. To examine this difference, we studied the dimensionality of the change in the representation due to perturbation, finding that decreasing class selectivity increases the dimensionality of this change for both corruption types, but with a notably larger increase for adversarial attacks. These results demonstrate the causal relationship between selectivity and robustness and provide new insights into the mechanisms of this relationship.

연구 동기 및 목표

• 딥 네럴 네트워크 표현에서 클래스 선택성이 입력 편향에 대한 내성성에 어떻게 영향을 미치는지 조사하기.
• 자연스러운 손상과 기울기 기반 적대적 공격에 대해 희박한(고선택성) 또는 분산된(저선택성) 표현 중 어느 것이 더 나은 내성성을 제공하는지 검토하기.
• 클래스 선택성이 평균 케이스(손상)와 최악의 케이스(적대적) 내성성 사이의 상충 관계를 매개하는지 확인하기.
• 표현 차원이 선택성과 내성성 간의 관계를 매개하는 데 어떤 역할을 하는지 분석하기.

제안 방법

• 개별 뉴런의 클래스 선택성을 제어하기 위해 학습 중에 클래스 선택성 정규화 기법을 적용하였다.
• 클래스 조건부 평균 활성화의 최대값과 비최대값 간의 차이를 기반으로 정규화된 지표를 사용하여 클래스 선택성을 측정하였다.
• Tiny ImageNet와 CIFAR10에서 다양한 정규화 강도(α)로 학습하였으며, 음수 α는 선택성을 감소시키고, 양수 α는 선택성을 증가시켰다.
• 내성성은 자연스러운 손상에 대해 Tiny ImageNetC와 CIFAR10C를, 적대적 공격에 대해 FGSM과 PGD를 사용하여 평가하였다.
• 표현 차원은 주성분 분석(PCA)을 통해 측정되었으며, 편향에 의한 활성화 변화의 분산 90%를 설명하기 위해 필요한 차원 수를 세었다.
• 네트워크의 안정성은 입력-출력 자코비안을 사용하여 적대적 편향 하에서 평가하였다.

실험 결과

연구 질문

• RQ1 클래스 선택성을 줄이면 자연스러운 이미지 손상에 대한 내성성이 향상되는가?
• RQ2 클래스 선택성을 줄이면 기울기 기반의 적대적 공격에 더 취약해지는가?
• RQ3 편향에 의한 활성화 변화의 차원은 내성성과 어떻게 관련되는가?
• RQ4 다양한 편향 유형에서 클래스 선택성과 내성성 사이에 인과 관계가 존재하는가?
• RQ5 표현 변화의 차원이 관찰된 손상과 적대적 내성성 간의 상충 관계를 설명하는가?

주요 결과

• 낮은 클래스 선택성이 Tiny ImageNetC와 CIFAR10C 양쪽 모두에서 자연스러운 손상에 대해 유의미하게 내성성을 향상시켰으며, 선택성이 낮을수록 평균 테스트 정확도가 증가하였다.
• 클래스 선택성을 줄이면 FGSM과 PGD 적대적 공격에 대한 취약성이 증가하였으며, 저선택성 모델의 테스트 정확도가 더 급격히 떨어졌다.
• 특히 초기 레이어에서 저선택성 네트워크에서는 적대적 편향에 의한 활성화 변화의 차원이 크게 증가하였다.
• 자연스러운 손상의 경우에도 저선택성일수록 활성화 변화의 차원이 증가했지만, 적대적 공격에 비해 그 정도는 더 적었다.
• 적대적 공격 하에서 활성화 변화의 차원 증가는 저선택성 모델의 취약성 증가와 강하게 상관관계가 있었다.
• 결과는 근본적인 상충 관계를 보여주며, 저선택성이 평균 케이스 내성성을 향상시키지만, 고차원 표현 이동으로 인해 최악의 케이스 내성성이 약화됨을 입증한다.