[論文レビュー] SOCRATES: Towards a Unified Platform for Neural Network Verification.

Long Hoang Pham, Jiaying Li+1 more|arXiv (Cornell University)|Jul 22, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用数 8

ひとこと要約

SOCRATES は、ニューラルネットワークの検証を統合するプラットフォームであり、モデル形式を標準化し、アサーション言語による性質の仕様をサポートし、新しい検証アルゴリズムを統合する。これは、多様なニューラルネットワークの種別や性質に対して、比較的、拡張可能で再利用可能な検証を可能にし、性能面で最先端の手法を上回るか同等の性能を発揮する。

ABSTRACT

Studies show that neural networks, not unlike traditional programs, are subject to bugs, e.g., adversarial samples that cause classification errors and discriminatory instances that demonstrate the lack of fairness. Given that neural networks are increasingly applied in critical applications (e.g., self-driving cars, face recognition systems and personal credit rating systems), it is desirable that systematic methods are developed to verify or falsify neural networks against desirable properties. Recently, a number of approaches have been developed to verify neural networks. These efforts are however scattered (i.e., each approach tackles some restricted classes of neural networks against certain particular properties), incomparable (i.e., each approach has its own assumptions and input format) and thus hard to apply, reuse or extend. In this project, we aim to build a unified framework for developing verification techniques for neural networks. Towards this goal, we develop a platform called SOCRATES which supports a standardized format for a variety of neural network models, an assertion language for property specification as well as two novel algorithms for verifying or falsifying neural network models. SOCRATES is extensible and thus existing approaches can be easily integrated. Experiment results show that our platform offers better or comparable performance to state-of-the-art approaches. More importantly, it provides a platform for synergistic research on neural network verification.

研究の動機と目的

• 異なるアプローチの分断を解消し、単一の標準化されたフレームワークに統合すること。
• ロバストネスや公平性といった望ましい性質に対して、ニューラルネットワークの体系的検証および反証を可能にすること。
• 拡張性を支援し、既存の検証手法を簡単に統合・再利用できるようにすること。
• 研究者間の協働的で相乗効果のある検証手法の比較と発展を促進する共通プラットフォームを提供すること。

提案手法

• SOCRATES は、さまざまなニューラルネットワークアーキテクチャ間での相互運用性を可能にするために、標準化された入力フォーマットを導入する。
• アドバーシャル入力に対するロバストネスやフェアネス制約といった、形式的な性質を指定するためのアサーション言語を定義する。
• 指定された性質に対してニューラルネットワークの挙動を効率的に検証または反証するように設計された、2つの新しい検証アルゴリズムを統合する。
• モジュラーなアーキテクチャにより、既存の検証手法をプラグイン形式で統合できるようにすることで、拡張性を実現する。
• 一貫した入力フォーマットと性質仕様を用いることで、異なる検証手法の比較を可能にする。
• パフォーマンスと再利用可能性の両面を考慮し、研究および実用的導入の両方を支援するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 多様なニューラルネットワークモデルや検証性質をサポートする統合プラットフォームをどのように設計できるか？
• RQ2 検証ツール間での相互運用性を実現するための標準化された入力フォーマットと仕様フォーマットは何か？
• RQ3 新しい検証アルゴリズムを、単一で拡張可能なフレームワークに効率的に統合する方法は何か？
• RQ4 このような統合プラットフォームが、特化した最先端の検証ツールの性能をどの程度上回るか、または同等に達するか？
• RQ5 共通プラットフォームは、ニューラルネットワーク検証分野における協働的で相乗効果のある研究を促進できるか？

主な発見

• SOCRATES は、複数のニューラルネットワーク検証アプローチを単一の標準化されたフレームワークに統合することに成功した。
• 共通の入力フォーマットとアサーション言語を通じて、幅広いニューラルネットワークモデルと性質仕様をサポートする。
• 最先端の手法と同等またはそれ以上の性能を発揮する、新しい検証アルゴリズムを統合している。
• SOCRATES の拡張性により、既存の検証手法を容易に組み込み・再利用できる。
• 実験結果から、SOCRATES が多様なモデルと性質にわたる効果的で比較可能かつスケーラブルな検証を実現することが確認された。
• 共通の基盤を提供することで、検証手法の評価と拡張を促進し、協働的で前向きな研究を可能にした。