[論文レビュー] Towards a Theoretical Understanding of the Robustness of Variational Autoencoders

Alexander Camuto, Matthew Willetts+3 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、敵対的摂動に対して変分オートエンコーダー（VAE）のロバストネスを定量化するための新しい理論的枠組み、$r$-ロバストネスを導入する。入力領域の境界内で再構成の類似性を保証するマージン $R^{r}_{/mathcal{X}}(\mathbf{x})$ を導出し、エンコーダーの分散が大きく、ヤコビアンノルムが小さいほどロバストネスが向上することを示した。これは、$β$-VAE などの分離化手法が自然に促進するメカニズムである。

ABSTRACT

We make inroads into understanding the robustness of Variational Autoencoders (VAEs) to adversarial attacks and other input perturbations. While previous work has developed algorithmic approaches to attacking and defending VAEs, there remains a lack of formalization for what it means for a VAE to be robust. To address this, we develop a novel criterion for robustness in probabilistic models: $r$-robustness. We then use this to construct the first theoretical results for the robustness of VAEs, deriving margins in the input space for which we can provide guarantees about the resulting reconstruction. Informally, we are able to define a region within which any perturbation will produce a reconstruction that is similar to the original reconstruction. To support our analysis, we show that VAEs trained using disentangling methods not only score well under our robustness metrics, but that the reasons for this can be interpreted through our theoretical results.

研究の動機と目的

• 現在、理論的枠組みが存在しないため、VAEがロバストであるとは具体的にどういう意味かを形式化すること。
• 確率的生成モデルに特化した新たなロバストネス指標、$r$-ロバストネスを構築すること。
• 摂動下でも再構成の類似性を保証する理論的入力空間のマージン $R^{r}_{χ}(\mathbf{x})$ を導出すること。
• エンコーダーの分散とヤコビアンノルムといった、アーキテクチャ的および学習的要因がロバストネスに与える影響を同定すること。
• 既存の分離化手法が、これらの要因をどのように変化させることでロバストネスを向上させるかを示すこと。

提案手法

• 確率的ロバストネス基準として $r$-ロバストネスを提案：摂動を加えた入力の再構成が、元の再構成の $r$-ボール内に位置する確率が高ければ、VAEは $r$-ロバストである。
• すべての摂動が $r$-ロバストネスを保つようなマージン $R^{r}_{χ}(\mathbf{x})$ を定義し、保証可能なロバストネスを可能にする。
• エンコーダーの分散とヤコビアンノルムを用いた $R^{r}_{χ}(\mathbf{x})$ の理論的下界を導出し、モデルの性質とロバストネスの関係を明示する。
• 変分法を用いて $β$-VAE の最適事後分布を導出し、$β$ を増加させることでエンコーダーの分散が増大し、ヤコビアンノルムが低下することを示す。
• 実験的に、$β$ の値を大きくすると $R^{r}_{χ}(\mathbf{x})$ が増大し、攻撃下での尤度が向上し、ノイズへの感受性が低下することを確認した。
• 分離化手法がエンコーダーの分散を増大させ、ヤコビアンノルムを低減させることで $R^{r}_{χ}(\mathbf{x})$ を向上させることを示し、ロバストネス向上のメカニズムを接続する。

実験結果

リサーチクエスチョン

• RQ1 VAEが形式的・理論的にロバストであるとは、具体的にどういう意味か？
• RQ2 摂動下でも再構成が安定する入力空間における保証可能なマージンを定義できるか？
• RQ3 エンコーダーの分散とヤコビアンノルムは、VAEのロバストネスにどのように影響するか？
• RQ4 $β$-VAE などの分離化手法が、これらの要因を介してVAEのロバストネスをどの程度向上させるか？
• RQ5 モデルのアーキテクチャと学習目的に基づいて、ロバストネスマージン $R^{r}_{χ}(\mathbf{x})$ の理論的下限を導出できるか？

主な発見

• 理論的下限としての $R^{r}_{χ}(\mathbf{x})$ は、エンコーダーの分散が大きいほど増大し、ヤコビアンノルムが小さいほど減少する。これにより、モデルの性質とロバストネスの間の明確な関係が確立された。
• 実験的に、$β$-VAE の $β$ を大きくすると、データセット全体で $R^{r}_{χ}(\mathbf{x})$ が増大し、理論的予測を裏付けた。
• 大きな $R^{r}_{χ}(\mathbf{x})$ 値は、敵対的攻撃下での元の入力の尤度が高くなる傾向と相関しており、より強いロバストネスを示している。
• $R^{r}_{χ}(\mathbf{x})$ の分布は、低分散かつ歪度が小さいため、実用的に信頼できる推定が可能である。
• 分離化手法（例：$β$-VAE）は、エンコーダーの分散を増大させると同時にヤコビアンノルムを低減させることで、自然にロバストネスを向上させる。
• $R^{r}_{χ}(\mathbf{x})$ をデータ分布全体で平均化することで、VAEのグローバルロバストネススコアを算出可能である。