[논문 리뷰] Understanding Robust Learning through the Lens of Representation Similarities

Christian Cianfarani, Arjun Nitin Bhagoji외 4명|arXiv (Cornell University)|2022. 06. 20.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 CKA 및 기타 메트릭을 사용하여 층 간 표현 유사도를 분석함으로써, 적대적 방어성 있는 딥 네ural 네트워크가 표준 네트워크와 어떻게 다른 방식으로 표현을 학습하는지 조사한다. 연구 결과, 방어성 있는 네트워크는 특징 전문화가 부족하고 '블록 구조'가 감소하며, 더 깊은 층에서 과적합이 발생하는 것으로 드러났다. 이러한 핵심 통찰은 방어성 모델의 성능 저하와 일반화 문제를 설명한다.

ABSTRACT

Representation learning, i.e. the generation of representations useful for downstream applications, is a task of fundamental importance that underlies much of the success of deep neural networks (DNNs). Recently, robustness to adversarial examples has emerged as a desirable property for DNNs, spurring the development of robust training methods that account for adversarial examples. In this paper, we aim to understand how the properties of representations learned by robust training differ from those obtained from standard, non-robust training. This is critical to diagnosing numerous salient pitfalls in robust networks, such as, degradation of performance on benign inputs, poor generalization of robustness, and increase in over-fitting. We utilize a powerful set of tools known as representation similarity metrics, across three vision datasets, to obtain layer-wise comparisons between robust and non-robust DNNs with different training procedures, architectural parameters and adversarial constraints. Our experiments highlight hitherto unseen properties of robust representations that we posit underlie the behavioral differences of robust networks. We discover a lack of specialization in robust networks' representations along with a disappearance of `block structure'. We also find overfitting during robust training largely impacts deeper layers. These, along with other findings, suggest ways forward for the design and training of better robust networks.

연구 동기 및 목표

• 방어성 있는 딥 네럴 네트워크와 비방어성 네트워크가 학습하는 표현 간 기본적인 차이를 이해하는 것.
• 비선형 입력에서의 성능 저하와 방어성의 일반화 부족과 같은 방어성 모델의 지속적인 문제를 진단하는 것.
• 아키텍처 선택(깊이, 너비), 위협 모델, 적대적 예산이 학습된 표현에 어떻게 영향을 미치는지 조사하는 것.
• 방어 훈련 실패의 근본 원인인 표현의 구조적 및 동적 특성을 규명하는 것.

제안 방법

• 저자는 특히 중심화된 커널 정렬(CKA)을 포함한 표현 유사도 메트릭을 사용하여 딥 네럴 네트워크의 모든 층 간 활성화를 비교한다.
• 저자들은 CIFAR-10, ImageNet-Subset(Imagenette/Imagewoof)에서 표준 모델과 방어성 모델을 훈련시키고, 일반 입력과 적대적 입력을 사용하여 표현을 평가한다.
• 분석에는 다양한 아키텍처(예: Wide ResNet), 적대적 예산(ε), 위협 모델(ℓ∞, ℓ2, Gabor, JPEG, Snow) 간의 층별 비교가 포함된다.
• 훈련 에포크를 따라 표현 유사도를 추적하여 더 깊은 층에서의 과적합과 불안정성을 탐지한다.
• 다양한 위협 모델 간의 유사도를 분석하여 대비 공격 간 정렬 정도를 평가하기 위해 추론 실험을 수행한다.
• 시각화와 통계 분석을 통해 표현 역학과 훈련 손실 및 정확도 간의 상관관계를 규명한다.

실험 결과

연구 질문

• RQ1 방어성과 비방어성 네트워크의 표현 구조는 층 간에 어떻게 다를까?
• RQ2 적대적 방어성이 깊은 표현에서 특징 전문화와 블록 구조를 얼마나 줄이는가?
• RQ3 아키텍처 하이퍼파라미터(너비, 깊이)와 적대적 예산이 표현 유사도와 모델 용량에 어떻게 영향을 미치는가?
• RQ4 왜 방어성 모델은 더 깊은 층에서 더 과적합되는가? 이는 일반화에 어떤 영향을 미치는가?
• RQ5 다양한 위협 모델에서 학습된 표현은 얼마나 유사한가? 표현 정렬을 통해 공동의 방어성을 달성할 수 있는가?

주요 결과

• 방어성 네트워크는 공간적으로 떨어진 층들 간에 상당히 높은 층 간 유사도를 보이며, 이는 비방어성 모델 대비 특징 전문화가 부족함을 시사한다.
• 방어성 표현에서 '블록 구조'의 부재는 더 균일하고 계층적이지 않은 특징 학습 과정을 의미한다.
• 방어 훈련 중 과적합은 가장 깊은 층에서 두드러지며, 초기 층은 안정함에도 불구하고 더 깊은 층의 표현은 훈련 내내 크게 변한다.
• 적대적 예산을 증가시키거나 네트워크 너비를 줄이면 장거리 표현 유사도가 증가하여 상대적 용량이 감소함을 시사한다.
• Snow와 Gabor와 같이 외관상으로는 다소 다른 위협 모델이라도 높은 유사도의 표현을 생성함을 시사하며, 공격 유형 간 공통된 인도티브 바이어스가 존재함을 시사한다.
• 특히 높은 예산에서나 더 깊은 층에서 표현 정렬이 열악하기 때문에 다양한 위협 모델 간 공동의 방어성 달성이 어렵다.