[論文レビュー] Data-Driven Assessment of Deep Neural Networks with Random Input Uncertainty.

Brendon G. Anderson, Somayeh Sojoudi|arXiv (Cornell University)|Oct 2, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 4

ひとこと要約

本稿では、ランダムな入力の不確実性下における深層ニューラルネットワークの安全性を評価するデータ駆動型で最適化に基づく手法を提案する。同時に出力のロバストネスを保証し、不確実性を局所化する。統一されたフレームワークを提供し、到達可能性と認証手法を包含し、あらゆるネットワークアーキテクチャに適用可能であり、凸性とサンプル複雑性の証明可能な性質により高確率での認証を保証する。

ABSTRACT

When using deep neural networks to operate safety-critical systems, assessing the sensitivity of the network outputs when subject to uncertain inputs is of paramount importance. Such assessment is commonly done using reachability analysis or robustness certification. However, certification techniques typically ignore localization information, while reachable set methods can fail to issue robustness guarantees. Furthermore, many advanced methods are either computationally intractable in practice or restricted to very specific models. In this paper, we develop a data-driven optimization-based method capable of simultaneously certifying the safety of network outputs and localizing them. The proposed method provides a unified assessment framework, as it subsumes state-of-the-art reachability analysis and robustness certification. The method applies to deep neural networks of all sizes and structures, and to random input uncertainty with a general distribution. We develop sufficient conditions for the convexity of the underlying optimization, and for the number of data samples to certify and localize the outputs with overwhelming probability. We experimentally demonstrate the efficacy and tractability of the method on a deep ReLU network.

研究の動機と目的

• 一般の入力分布と局所化を扱う既存の到達可能性およびロバストネス認証手法の限界を克服すること。
• 不確実性下でのネットワーク出力のロバストネス認証と空間的局所化を同時に実現する統一されたフレームワークの開発。
• 任意のサイズや構造の深層ニューラルネットワークにおいて、計算の実行可能性と高確率保証を確保すること。
• 基礎となる最適化問題における凸性の十分条件を確立し、信頼性のある認証を実現するためのサンプル複雑性バウンドを導出すること。

提案手法

• ランダムな入力不確実性下での最悪ケースの出力偏差を評価するため、データ駆動型の最適化問題を定式化する。
• 十分な条件下で最適化問題が実行可能かつ凸のままであるように、凸緩和技術を活用する。
• 出力空間における予測が依然としてロバストであるとされる領域を特定することで、局所化を組み込む。
• 入力不確実性のモンテカルロサンプリングを用いて到達集合を推定し、高確率でロバストネスを検証する。
• フレームワークは一般性を持ち、ReLUまたは類似の活性化関数を有する任意の深層ニューラルネットワークと、任意の入力分布に適用可能である。
• 有限のデータを用いて、認証および局所化を途方なく高い確率で達成するためのサンプル複雑性バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 一般の入力不確実性下で、同時にロバストネスを認証し、出力を局所化できる統一されたフレームワークを開発できるか？
• RQ2 多様なネットワークアーキテクチャにわたり、ロバストネス評価に用いる最適化問題における凸性をどのように保証できるか？
• RQ3 高確率での認証および局所化を達成するために、最小でどの程度の入力サンプルが必要か？
• RQ4 既存の到達可能性および認証技術と比較して、本手法は実行可能性および精度においてどのように優れているか？

主な発見

• 提案手法は、一元的な統一フレームワーク内でロバストネス認証と出力の局所化を達成し、先行する到達可能性および認証アプローチを包含する。
• 基礎となる最適化問題の凸性に関する十分条件が導出され、計算の実行可能性が保証される。
• 有限の入力サンプル数を用いても、サンプル複雑性バウンドによって示されるように、高確率での認証が保証される。
• ReLUネットワークを用いた実験結果から、本手法の有効性、実行可能性、およびスケーラビリティが、さまざまな不確実性分布にわたり明確に示された。