[论文解读] Intrinsic Geometric Vulnerability of High-Dimensional Artificial Intelligence

Luca Bortolussi, Guido Sanguinetti|arXiv (Cornell University)|Nov 8, 2018

Adversarial Robustness in Machine Learning参考文献 30被引用 4

一句话总结

本文认为，高维人工智慧模型因其高维资料流形的幾何結構，本質上容易受到對抗性攻擊。它指出，促成高準確度的幾何特性——例如低內在維度與流形集中——也同時產生可被利用的弱點，使得在高維度下，魯棒性與高準確度本質上是相互關聯的。

ABSTRACT

The success of modern Artificial Intelligence (AI) technologies depends critically on the ability to learn non-linear functional dependencies from large, high dimensional data sets. Despite recent high-profile successes, empirical evidence indicates that the high predictive performance is often paired with low robustness, making AI systems potentially vulnerable to adversarial attacks. In this report, we provide a simple intuitive argument suggesting that high performance and vulnerability are intrinsically coupled, and largely dependent on the geometry of typical, high-dimensional data sets. Our work highlights a major potential pitfall of modern AI systems, and suggests practical research directions to ameliorate the problem.

研究动机与目标

• 解釋為何高性能的深度學習模型即使具有強大的預測準確度，仍本質上容易受到對抗性攻擊。
• 識別此脆弱性的內在幾何成因，著重於高維度資料流形的結構。
• 主張由於典型高維度資料的幾何特性，魯棒性與高性能本質上是相互耦合的。
• 提出可實踐的研究方向，透過幾何洞見提升魯棒性，例如降維或正則化。
• 將先前關於對抗性泛化與可遷移性的觀察統一於幾何框架之下。

提出的方法

• 從幾何觀點分析高維輸入空間（R^N）中的二元分類問題，探討資料流形的性質。
• 引入「局部複雜分類器」的概念，其決策邊界對高維空間中的微小擾動極為敏感。
• 使用主成分分析（PCA）識別輸入空間中分類器權重較高的方向，特別是垂直於資料流形的方向。
• 示範線性攻擊之所以有效，是因為它利用了高維度中具有大分類器權重的方向，即使在簡單模型中亦然。
• 將對抗性範例的泛化性與資料流形幾何聯結，特別是高內在維度區域。
• 主張降維與貝葉斯不確定性估計可透過簡化或正則化模型在高維空間中的行為，來降低脆弱性。

实验结果

研究问题

• RQ1 為何高維度人工智慧模型雖具備強大泛化能力，卻對微小對抗性擾動極其脆弱？
• RQ2 高維度資料流形的哪些幾何特性導致魯棒性與高性能本質上無法兼顧？
• RQ3 資料的內在維度與對抗性範例的形成及可遷移性有何關聯？
• RQ4 為何線性攻擊能跨不同模型與資料集有效泛化，即使模型訓練資料不同？
• RQ5 資料流形結構的幾何洞見能否用於發展更佳的對抗性攻擊防禦方法？

主要发现

• 具有低內在維度的高維資料流形，創造出高準確度分類器必然對對抗性攻擊脆弱的幾何環境。
• 促成高維度準確預測的相同分類器權重，也使模型對垂直於資料流形方向的微小擾動極為敏感。
• 線性攻擊之所以有效且具泛化能力，是因為它利用了高維度中具有大分類器權重的方向，這類方向即使在簡單模型中亦常見。
• 對抗性範例通常出現在內在維度較高的局部區域，顯示它們利用了資料流形的複雜摺疊結構。
• 此脆弱性並非模型複雜度的副產品，而是高維度資料幾何特性的本質結果。
• 降維與貝葉斯正則化可透過簡化資料流形並量化未約束方向的不確定性，來降低脆弱性。