[論文レビュー] Neural Population Geometry Reveals the Role of Stochasticity in Robust Perception

Joel Dapello, Jenelle Feather+6 more|arXiv (Cornell University)|Nov 12, 2021

Adversarial Robustness in Machine Learning参考文献 9被引用数 6

ひとこと要約

この論文は、生物学的神経可塑性にインspiredされた人工ニューラルネットワークにおける確率的性質が、視覚および聴覚の両分野において敵対的摂動に対して頑健性を高めることを、ニューラル集団幾何学の観点から解明している。高次元ニューラル表現の幾何的分析を通じて、著者らは確率的ネットワークが、敵対的およびクリーンなスティミュリの表現が重なり合うことで、敵対的性能とクリーン性能のトレードオフを介して頑健性を達成することを示している。

ABSTRACT

Adversarial examples are often cited by neuroscientists and machine learning researchers as an example of how computational models diverge from biological sensory systems. Recent work has proposed adding biologically-inspired components to visual neural networks as a way to improve their adversarial robustness. One surprisingly effective component for reducing adversarial vulnerability is response stochasticity, like that exhibited by biological neurons. Here, using recently developed geometrical techniques from computational neuroscience, we investigate how adversarial perturbations influence the internal representations of standard, adversarially trained, and biologically-inspired stochastic networks. We find distinct geometric signatures for each type of network, revealing different mechanisms for achieving robust representations. Next, we generalize these results to the auditory domain, showing that neural stochasticity also makes auditory models more robust to adversarial perturbations. Geometric analysis of the stochastic networks reveals overlap between representations of clean and adversarially perturbed stimuli, and quantitatively demonstrates that competing geometric effects of stochasticity mediate a tradeoff between adversarial and clean performance. Our results shed light on the strategies of robust perception utilized by adversarially trained and stochastic networks, and help explain how stochasticity may be beneficial to machine and biological computation.

研究の動機と目的

• 生物学的インスピレーションを受ける確率的性質が人工ニューラルネットワークにおける敵対的頑健性をどのように向上させるかのメカニズムを理解すること。
• クリーンおよび敵対的スティミュリに反応する標準的ネットワーク、敵対的訓練済みネットワーク、および確率的ネットワークの幾何的特徴を比較すること。
• 確率的性質の利点が視覚を越えて聴覚認識モデルにも拡張可能かどうかを調査すること。
• 確率的表現が引き起こすクリーン性能と敵対的頑健性のトレードオフを定量化すること。
• ニューラル集団幾何学が人工的および生物学的システムにおける頑健な知覚をどのように媒介するかを探索すること。

提案手法

• 計算神経科学分野の多様体解析技術を応用し、深層ネットワーク内の高次元ニューラル表現を分析した。
• 視覚および聴覚の分野において、標準的、敵対的訓練済み、生物学的インスピレーションを受ける確率的ネットワークの3種類を訓練・分析した。
• 多様体幅、分離可能性、内因性次元性といった幾何的指標を用いて、クリーンおよび敵対的スティミュリ表現を比較した。
• ノイズレベルを変化させながら、表現に上記の指標を適用し、クリーン例と敵対的例の多様体の線形分離可能性を評価した。
• ネットワーク出力にガウスノイズのレベルを系統的に変化させ、性能のトレードオフと幾何的効果をマッピングした。
• 新規の聴覚モデル、StochCochResNet50（確率的応答を有する）にその発見を拡張し、モダリティを越えた一般化を確認した。

実験結果

リサーチクエスチョン

• RQ1 クリーンおよび敵対的スティミュリに反応する標準的ネットワーク、敵対的訓練済みネットワーク、および確率的ネットワークのニューラル集団表現の幾何的特徴は、どのように異なるか？
• RQ2 神経的確率的性質は、視覚モデルと同様に聴覚ニューラルネットワークにおける敵対的頑健性を向上させるか？
• RQ3 クリーンおよび敵対的スティミュリの表現が重なる役割は、確率的ネットワークにおける頑健な知覚を可能にするか？
• RQ4 幾何的レベルで、確率的性質はクリーン性能と敵対的頑健性の間でどのようにトレードオフを媒介するか？
• RQ5 確率的ネットワークにおける頑健性の幾何的メカニズムは、敵対的訓練済みネットワークと類似しているか？

主な発見

• 確率的ネットワークは、クリーンおよび敵対的スティミュリ多様体の重なりが増加するという、特徴的な幾何的特徴を示した。
• ノイズレベルが上昇するにつれて、特に高ノイズ領域において、クリーンおよび敵対的表現の重なりが増加し、保護的幾何的メカニズムである可能性が示唆された。
• ノイズレベルが上昇するにつれて、クリーンおよび敵対的例の多様体の線形分離可能性が低下し、表現に上記の特徴が確認された（バイナリSVMによる訓練結果）。
• 敵対的頑健性とクリーン性能の間にはトレードオフが存在する：高い確率的性質は頑健性を向上させるが、クラス多様体のねじれが増加するため、ピーク精度が低下する。
• StochCochResNet50という新規の聴覚モデルにおいても、確率的性質の利点が一般化されていることが確認され、視覚モデルと一貫した幾何的パターンが得られた。
• ノイズレベルの上昇に伴い多様体幅が増加した一方で、クラスおよび例多様体の容量は低下し、確率的性質による表現空間の構造的再編成が示された。