[논문 리뷰] Towards a Theoretical Understanding of the Robustness of Variational Autoencoders

Alexander Camuto, Matthew Willetts외 3명|arXiv (Cornell University)|2020. 07. 14.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 적대적 편향에 대한 변분 오토인코더(VAE)의 강건성 수준을 정량화하기 위한 새로운 이론적 프레임워크인 $r$-강건성($r$-robustness)을 제안한다. 입력 영역 내에서 재구성 유사성을 보장하는 마진 $R^{r}_{/mathcal{X}}(\mathbf{x})$를 도출하여, 더 큰 인코더 분산과 더 작은 자코비안 노름이 강건성을 향상시킨다는 것을 보여주며, 이러한 메커니즘은 $β$-VAE와 같은 분리형 방법에 의해 자연스럽게 촉진된다.

ABSTRACT

We make inroads into understanding the robustness of Variational Autoencoders (VAEs) to adversarial attacks and other input perturbations. While previous work has developed algorithmic approaches to attacking and defending VAEs, there remains a lack of formalization for what it means for a VAE to be robust. To address this, we develop a novel criterion for robustness in probabilistic models: $r$-robustness. We then use this to construct the first theoretical results for the robustness of VAEs, deriving margins in the input space for which we can provide guarantees about the resulting reconstruction. Informally, we are able to define a region within which any perturbation will produce a reconstruction that is similar to the original reconstruction. To support our analysis, we show that VAEs trained using disentangling methods not only score well under our robustness metrics, but that the reasons for this can be interpreted through our theoretical results.

연구 동기 및 목표

• 현재 이론적 프레임워크가 없기 때문에, VAE가 강건하다는 것을 공식적으로 정의하는 것.
• 확률적 생성 모델에 특화된 새로운 강건성 지표인 $r$-강건성($r$-robustness)을 개발하는 것.
• 편향이 가해진 상황에서도 재구성 유사성을 보장하는 입력 공간의 이론적 마진 $R^{r}_{χ}(\mathbf{x})$를 유도하는 것.
• 강건성에 기여하는 아키텍처 및 학습 요소—특히 인코더 분산과 자코비안 노름—을 규명하는 것.
• 기존의 분리형 방법이 이러한 요소를 수정함으로써 강건성을 어떻게 향상시키는지 보여주는 것.

제안 방법

• 확률적 강건성 기준으로서 $r$-강건성을 제안: 입력이 편향된 경우, 재구성이 원래 재구성 주변의 $r$-공 안에 있을 가능성이 더 높은 VAE는 $r$-강건하다고 간주한다.
• 모든 편향이 이 마진 내에 있을 경우 $r$-강건성이 유지되도록 하는 마진 $R^{r}_{χ}(\mathbf{x})$를 정의함으로써, 검증 가능한 강건성 보장을 가능하게 한다.
• 이론적 하한을 인코더 분산과 자코비안 노름의 함수로 유도하여, 모델 성질과 강건성 간의 공식적 연결 고리를 확립한다.
• 변분법을 사용하여 $β$-VAE의 최적 사후분포를 유도하며, $β$를 증가시킬수록 인코더 분산이 증가하고 자코비안 노름이 감소함을 보여준다.
• 실증적으로 $β$ 값을 높일수록 $R^{r}_{χ}(\mathbf{x})$가 증가하고, 공격 하에서의 우도가 향상되며, 노이즈에 대한 민감도가 감소하는 것을 확인한다.
• 분리형 방법이 인코더 분산을 증가시키고 자코비안 노름을 감소시킴으로써 $R^{r}_{χ}(\mathbf{x})$를 향상시켜 강건성 향상에 기여함을 보여주어, 분리형 방법과 강건성 간의 연결 고리를 확립한다.

실험 결과

연구 질문

• RQ1 VAE가 공식적이고 이론적으로 강건하다는 것은 무엇을 의미하는가?
• RQ2 편향이 가해진 상황에서도 재구성이 안정적으로 유지되는 입력 공간 내에서 검증 가능한 마진을 정의할 수 있는가?
• RQ3 인코더 분산과 자코비안 노름은 VAE의 강건성에 어떤 영향을 미치는가?
• RQ4 $β$-VAE와 같은 분리형 방법이 이러한 요소를 통해 VAE 강건성을 어느 정도 향상시키는가?
• RQ5 모델 아키텍처와 학습 목표에 기반하여 강건성 마진 $R^{r}_{χ}(\mathbf{x})$에 대한 이론적 하한을 도출할 수 있는가?

주요 결과

• 이론적 하한이 인코더 분산 증가에 따라 증가하고 자코비안 노름 증가에 따라 감소함을 확인하여, 모델 성질과 강건성 간의 공식적 연결 고리를 제공한다.
• 실증적으로 $β$-VAE에서 $β$를 증가시킬수록 데이터셋 전반에 걸쳐 $R^{r}_{χ}(\mathbf{x})$가 증가함을 확인하여 이론적 예측을 뒷받침한다.
• 큰 $R^{r}_{χ}(\mathbf{x})$ 값은 적대적 공격 하에서 원본 입력의 우도가 높아지는 경향을 보이며, 더 강한 강건성을 나타낸다.
• $R^{r}_{χ}(\mathbf{x})$의 분포는 낮은 분산과 왜곡을 보이며, 실무에서 신뢰할 수 있는 추정이 가능함을 시사한다.
• $β$-VAE와 같은 분리형 방법은 인코더 분산을 증가시키고 자코비안 노름을 감소시킴으로써 자연스럽게 $R^{r}_{χ}(\mathbf{x})$를 향상시켜 강건성을 향상시킨다.
• $R^{r}_{χ}(\mathbf{x})$는 데이터 분포에 대해 평균화하여 VAE의 전반적 강건성 점수를 도출할 수 있다.