[論文レビュー] On the Need for Topology-Aware Generative Models for Manifold-Based Defenses

Uyeong Jang, Susmit Jha+1 more|arXiv (Cornell University)|Sep 7, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用数 6

ひとこと要約

この論文は、 adversarial examples に対する多様体ベースの防御において、トポロジーに配慮した生成モデルが不可欠であると主張している。理論的および実験的に、トポロジーを無視するモデルは、トポロジーの不一致を引き起こし、防御の頑健性を損なう可能性があることを示しており、トポロジーに配慮したモデルを用いることで、Invert-and-Classify などの防御における投影の正確性と一貫性が著しく向上することがわかった。

ABSTRACT

Machine-learning (ML) algorithms or models, especially deep neural networks (DNNs), have shown significant promise in several areas. However, researchers have recently demonstrated that ML algorithms, especially DNNs, are vulnerable to adversarial examples (slightly perturbed samples that cause misclassification). The existence of adversarial examples has hindered the deployment of ML algorithms in safety-critical sectors, such as security. Several defenses for adversarial examples exist in the literature. One of the important classes of defenses are manifold-based defenses, where a sample is ``pulled back" into the data manifold before classifying. These defenses rely on the assumption that data lie in a manifold of a lower dimension than the input space. These defenses use a generative model to approximate the input distribution. In this paper, we investigate the following question: do the generative models used in manifold-based defenses need to be topology-aware? We suggest the answer is yes, and we provide theoretical and empirical evidence to support our claim.

研究の動機と目的

• 多様体ベースの防御で使用される生成モデルが、元のデータ多様体のトポロジーを認識している必要があるかどうかを調査すること。
• トポロジーを無視する生成モデルが、防御性能の低下を引き起こすトポロジーの不一致をどのように引き起こすかを特定すること。
• トポロジー認識の有無が、Invert-and-Classify (INC) 防御機構の頑健性および正確性に与える影響を評価すること。
• 生成モデルにおけるトポロジカル分離を達成するために、クラスに配慮した学習の限界を探索すること。
• アドバーシャル防御フレームワークにおいて、トポロジーに配慮した生成モデルを設計するための理論的および実験的根拠を提供すること。

提案手法

• 微分トポロジーを用いた理論的分析により、トポロジーに配慮しない生成モデルが、真のデータ多様体とモデルが誘導する分布の間にトポロジーの不一致を生じさせることを示す。
• 可逆的生成モデルを力学系としてモデル化し、潜在空間の変換が生成過程における多様体構造に与える影響を分析する。
• トポロジーのアーチファクトを回避するために、各部分多様体（例：各ガウス成分ごと）に最適化を実行するように変更した Invert-and-Classify (INC) 防御を設計する。
• クラスに配慮した学習を用いて生成モデルが異なる多様体を学習するよう促すが、複雑なトポロジカル構成ではその方法に限界があることが示された。
• 潜在分布および生成分布のスーパークラス集合を用いて、生成モデル出力におけるトポロジカルアーチファクトを可視化および分析する。
• 合成データセット（例：two-moons、spirals、circles）を用いた実験的評価を行い、トポロジーを無視するモデルとトポロジーに配慮するモデルの間で、投影誤差の分布を比較する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルがトポロジーに配慮していない場合、多様体ベースの防御の有効性が損なわれるか？
• RQ2 データ多様体のトポロジカル構造を保存しない生成モデルは、アドバーシャル脆弱性を引き起こす可能性があるか？
• RQ3 クラスに配慮した学習が、生成モデルにおけるトポロジカル分離をどの程度向上させるか？
• RQ4 トポロジーの不一致は、生成モデルの潜在空間およびデータ空間にどのように現れるか？
• RQ5 トポロジー認識の有無が、Invert-and-Classify などの投影ベースの防御における一貫性および正確性に与える影響はいかほどか？

主な発見

• トポロジーを無視する生成モデルは、モデルが誘導する分布が真のデータ多様体のトポロジーを反映しない場合に、トポロジーの不一致を引き起こす可能性がある。
• 実験的結果から、トポロジーに配慮した生成モデルは、two-moons や spirals のような合成データセットにおいて、Invert-and-Classify 防御の平均投影誤差を最大で30％まで低減することがわかった。
• トポロジーに配慮したモデルでは、投影誤差の標準偏差が顕著に低減され、アドバーシャル例全体にわたる一貫性があり信頼性の高い性能が得られていることが示された。
• クラスに配慮した学習でさえも、データ空間で連結されたスーパークラス集合（例：2つの成分が1つの連結成分に統合される）を生成する可能性があり、これはトポロジカル構造の保存に失敗していることを示している。
• トポロジーに配慮した学習が多様体分離を保証できない理由は、潜在空間のコンポーネントの整合性に起因しており、水平方向の整合性が良い分離を可能にする一方、垂直方向の整合性はアーチファクトを引き起こす。
• 可逆的生成モデルを力学系として見た場合、潜在空間が適切に整列されていない限り、ねじれ多様体間を移行する際にトポロジカル構造を保持できないことがわかった。