[논문 리뷰] A Causal View on Robustness of Neural Networks

Cheng Zhang, Kun Zhang외 1명|arXiv (Cornell University)|2020. 05. 03.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 36

한 줄 요약

본 논문은 로버스트니스에 대한 인과적 관점을 주장하고 인과적 조작 보강 모델인 deep CAMA를 소개하며, 보이지 않는 입력 조작에 대한 강인성을 향상시키고 조작과 잠재적 원인을 분리한다.

ABSTRACT

We present a causal view on the robustness of neural networks against input manipulations, which applies not only to traditional classification tasks but also to general measurement data. Based on this view, we design a deep causal manipulation augmented model (deep CAMA) which explicitly models possible manipulations on certain causes leading to changes in the observed effect. We further develop data augmentation and test-time fine-tuning methods to improve deep CAMA's robustness. When compared with discriminative deep neural networks, our proposed model shows superior robustness against unseen manipulations. As a by-product, our model achieves disentangled representation which separates the representation of manipulations from those of other latent causes.

연구 동기 및 목표

• 조작 가능한 원인에 의해 입력이 생성되는 관점에서 DNN의 로버스트니스 이슈를 인과적 관점에서 동기 부여한다.
• 관측 데이터에 영향을 주는 원인에 대한 개입을 명시적으로 모델링하는 인과 생성 모델 (deep CAMA)을 제안한다.
• 보이지 않는 조작에 대한 로버스트니스를 향상시키기 위해 테스트 시 적응 및 데이터 증강을 가능하게 한다.
• deep CAMA가 조작을 잠재 원인과 분리하는 해리된 표현을 산출함을 보여준다.

제안 방법

• 인과 구조를 반영하기 위해 pθ(x,y,z,m)=p(m)p(z)p(y)pθ(x|y,z,m) 을 제안한다.
• 잠재 원인과 조작을 추론하기 위해 qφ(z,m|x,y)=qφ1(z|x,y,m)qφ2(m|x) 를 사용하는 변분 추론을 활용한다.
• 개입 ELBO 목표로 학습하여 깨끗한 데이터와 조작된 데이터를 처리한다(ELBO(x,y,do(m=0)) 및 ELBO(x,y)).
• 테스트 시 M과 Z에 대한 샘플을 사용한 몬테카를로 베이즈 추론을 수행하여 예측 분포 p(y|x)를 얻는다.
• 선택적으로 보이지 않는 조작에 대한 강인성을 높이기 위해 M 관련 네트워크의 테스트 시 미세 조정을 적용한다.]
• 자연스러운 번역에서 괄호 닫힘이 누락된 부분이 있습니다. 원문 원문 문장을 정확히 반영해야 하므로 아래와 같이 수정합니다:

실험 결과

연구 질문

• RQ1 다 unseen 데이터 조작에 대한 강건성에 인과 구조를 포함시키는 것이 어떤 영향을 미치는가?
• RQ2 인과적 모듈식 생성 모델이 잠재 원인과 조작을 분리하고 왜곡에 대해 성능을 유지할 수 있는가?
• RQ3 테스트 시 미세 조정과 데이터 증강이 인과 프레임워크 내에서 깨끗한 데이터 정확도를 희생하지 않으면서 강인성을 향상시키는가?
• RQ4 딥 CAMA는 단일 모달 및 다중 모달 측정 데이터에서 다양한 조작 하에서 어떻게 성능을 보이는가?

주요 결과

• Deep CAMA는 MNIST와 CIFAR-10 유래 작업에서 보이지 않는 조작에 대해 판별적 DNN보다 우수한 강인성을 보인다.
• 테스트 시 미세 조정 및 데이터 증강은 수직 및 수평 이동은 물론 보이지 않는 이동에 대한 강인성도 더욱 향상시킨다.
• Deep CAMA는 내재적 잠재 원인 Z와 조작 M을 분리하는 해리된 표현을 학습하여 견고한 예측을 가능하게 한다.
• 조작이 공동 부모 C 또는 관측된 X에 미치는 영향은 DNN에 제한적이지만, Deep CAMA의 인과 구조에 의해 완화된다.
• 인과 그래프의 잘못된 명시에 대해Robustness는 여전히 대략적으로 디스크리미티브 베이스라인보다 높게 남는다.