[論文レビュー] A Survey of Safety and Trustworthiness of Deep Neural Networks: Verification, Testing, Adversarial Attack and Defence, and Interpretability

Xiaowei Huang, Daniel Kroening+6 more|arXiv (Cornell University)|Dec 18, 2018

Adversarial Robustness in Machine Learning参考文献 176被引用数 53

ひとこと要約

深層ニューラルネットワークの安全性と信頼性を comprehensive に調べた総説で、検証、テスト、対実世界的攻撃/防御、解釈可能性を網羅し、202件をレビューしています。

ABSTRACT

In the past few years, significant progress has been made on deep neural networks (DNNs) in achieving human-level performance on several long-standing tasks. With the broader deployment of DNNs on various applications, the concerns over their safety and trustworthiness have been raised in public, especially after the widely reported fatal incidents involving self-driving cars. Research to address these concerns is particularly active, with a significant number of papers released in the past few years. This survey paper conducts a review of the current research effort into making DNNs safe and trustworthy, by focusing on four aspects: verification, testing, adversarial attack and defence, and interpretability. In total, we survey 202 papers, most of which were published after 2017.

研究の動機と目的

• DNNの信頼性の概念を認証と説明プロセスを通じて説明する。
• DNNの安全性と信頼性の検証とテスト手法をレビューする。
• 対実世界的攻撃手法とそれに対応する防御を要約する。
• DNNの意思決定をより理解しやすくする解釈可能性アプローチを調査する。

提案手法

• 主に2017年以降に公表された202件の系統的文献調査。
• 局所的ロバスト性、出力到達性、リプシッツ性などの安全性特性の分類。
• 検証（決定論的保証、境界、統計的保証）、テスト（カバレッジ基準とテストケース生成）、攻撃/防御、解釈可能性の整理。

実験結果

リサーチクエスチョン

• RQ1 DNNにとって安全性と信頼性を定義する特性は何か？（例：ロバスト性、到達性）
• RQ2 検証、テスト、対実世界的防御、解釈可能性はDNNの認証と説明の枠組みにどう貢献できるか？
• RQ3 検証とテスト手法が提供する主な方法論と保証は何か？
• RQ4 対実世界的攻撃に対する効果的な防御戦略は何で、それはどのように認証されるのか？
• RQ5 信頼できるDNNの説明要件を満たすのに役立つ解釈可能性技術は何か？

主な発見

• DNNの検証は証明可能な保証を提供するが、大規模モデルへのスケーラビリティには課題がある。
• テストはカバレッジ指向のテストケース生成による計算的に軽量な保証を提供する。
• 対実世界的攻撃手法は脆弱性を浮き彫りにし、防御はロバスト性を向上させ、認証済みの保証を提供することを目指す。
• 解釈可能性の手法はインスタンス単位およびモデルレベルの説明を生み出し、ユーザーの信頼を高める。
• 本調査は認証（デプロイ前）と説明（ライフタイム）をコアとなる信頼構築プロセスとして強調している。