[논문 리뷰] What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space

Shihao Zhao, Xingjun Ma외 4명|arXiv (Cornell University)|2021. 01. 18.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 9

한 줄 요약

이 논문은 딥 네ural 네트워크(DNN)가 학습한 클래스별 패턴을 입력(픽셀) 공간에서 직접 시각화하는 방법을 제안하며, DNN가 각 클래스당 단일 예측 가능한 패턴을 기억하고 있음을 드러낸다. 주요 발견은 청소된 훈련을 받은 DNN조차도 '백도어 유사' 트리거를 학습하고, 적대적으로 훈련된 모델은 단순화되고 강건한 형태 패턴을 학습한다는 것이다. 이는 DNN의 해석 가능성과 취약성에 대한 새로운 통찰을 제공한다.

ABSTRACT

Deep neural networks (DNNs) are increasingly deployed in different applications to achieve state-of-the-art performance. However, they are often applied as a black box with limited understanding of what knowledge the model has learned from the data. In this paper, we focus on image classification and propose a method to visualize and understand the class-wise knowledge (patterns) learned by DNNs under three different settings including natural, backdoor and adversarial. Different to existing visualization methods, our method searches for a single predictive pattern in the pixel space to represent the knowledge learned by the model for each class. Based on the proposed method, we show that DNNs trained on natural (clean) data learn abstract shapes along with some texture, and backdoored models learn a suspicious pattern for the backdoored class. Interestingly, the phenomenon that DNNs can learn a single predictive pattern for each class indicates that DNNs can learn a backdoor even from clean data, and the pattern itself is a backdoor trigger. In the adversarial setting, we show that adversarially trained models tend to learn more simplified shape patterns. Our method can serve as a useful tool to better understand the knowledge learned by DNNs on different datasets under different settings.

연구 동기 및 목표

• DNN가 특성 또는 활성화 공간이 아닌 입력(픽셀) 공간에서 학습한 클래스별 지식을 시각화하는 방법을 개발하는 것.
• 청소된 데이터로 훈련된 DNN가 성능 향상을 위한 '백도어' 패턴을 내재적으로 학습하는지 조사하는 것.
• 적대적 훈련이 DNN가 학습하는 패턴의 유형, 특히 형태의 단순성과 강건성 측면에서 어떤 영향을 미치는지 검토하는 것.
• DNN 행동을 해석하고, 편향을 식별하며, 방어 기법을 향상시키는 데 도움이 되는 도구를 제공하는 것.

제안 방법

• 이 방법은 어떤 비대상 클래스 이미지에 부착했을 때 DNN이 대상 클래스를 높은 신뢰도로 예측하도록 하는 단일 국소 패턴을 캔버스 이미지에서 탐색한다.
• 이 탐색 과정은 픽셀 값에 대한 최적화 문제로 공식화되며, 대상 클래스에 대한 모델의 예측 점수를 최대화하면서도 패턴이 최소화되고 국소화되도록 한다.
• 이 방법은 특성 맵이나 주의 메커니즘에 의존하지 않고 입력 픽셀 공간에서 직접 작동하므로 학습된 패턴을 직관적으로 해석할 수 있다.
• 이 방법은 자연 훈련, 백도어 훈련, 적대적 훈련의 세 가지 설정에서 적용되어 패턴 특성들을 비교한다.
• 다른 모델 간에 패턴의 예측 능력을 평가함으로써 이전 모델 간의 이식 가능성 분석이 가능하다.
• 모델의 신뢰도 점수와 기울기 기반 최적화를 활용하여 각 클래스에 대해 높은 예측 능력을 지닌 픽셀 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 청소된 데이터로 훈련된 DNN는 입력 공간에서 각 클래스에 대해 일관되고 예측 가능한 단일 패턴을 학습하는가?
• RQ2 제안된 방법은 백도어가 적용된 모델에서 백도어 트리거 패턴을 드러내며, 청소된 모델의 내재된 취약성도 폭 드러내는가?
• RQ3 적대적으로 훈련된 DNN는 자연 훈련된 모델과 비교해 어떤 방식으로 다른 패턴을 학습하는가?
• RQ4 DNN가 학습하는 패턴은 강건한 특징을 반영하는가, 아니면 비강건한 텍스처 기반 편향을 반영하는가?

주요 결과

• 청소된 데이터로 훈련된 DNN는 추상적인 형태와 텍스처를 조합한 일관되고 클래스별 패턴을 입력 공간에서 학습하며, 이는 일종의 기억화를 나타낸다.
• 청소된 모델 내 이러한 패턴의 존재는 이들이 본질적으로 '백도어'를 내재하고 있음을 시사하며, 이러한 패턴을 악용하면 높은 성공률로 입력을 잘못 분류할 수 있다.
• 백도어가 적용된 모델는 기대되는 백도어 행동과 일치하는 의심스러운 국소적 트리거 패턴을 학습했으며, 이는 방법의 효과성을 확인한다.
• 적대적으로 훈련된 DNN는 자연 모델보다 더 단순화되고 조밀하게 연결된 형태 패턴을 학습한다. 이는 강건성이 향상되었음을 시사한다.
• 왜곡된 데이터셋(예: ${\mathcal{D}}_R$)으로 강건하게 훈련된 모델은 배경 노이즈가 감소한 패턴을 학습하지만, 핵심 객체 형태 성분을 상실할 수 있어 일반화 문제를 일으킬 수 있다.
• 패턴의 예측 능력은 모델 간 이식 가능하며, 이식률은 학습된 패턴의 강력한 일반화 능력을 나타낸다.