[論文レビュー] Safety and Trustworthiness of Deep Neural Networks: A Survey

Xiaowei Huang, Daniel Kroening+6 more|arXiv (Cornell University)|Dec 18, 2018

Adversarial Robustness in Machine Learning参考文献 109被引用数 38

ひとこと要約

このサーベイは、深層ニューラルネットワーク（DNN）の安全性と信頼性を保証するための最近の研究をレビューし、検証、テスト、敵対的ロバストネス、解釈可能性の4つの分野に焦点を当てる。2017年から2018年の間の178篇の最近論文を分析し、DNNを実世界への導入に向けた信頼性を高めるための主な進展を要約するとともに、特に自律走行車両のような高リスク分野における未解決の課題を特定する。

ABSTRACT

In the past few years, significant progress has been made on deep neural networks (DNNs) in achieving human-level intelligence on several long-standing tasks. With broader deployment of DNNs on various applications, the concerns on its safety and trustworthiness have been raised, particularly after the fatal incidents of self-driving cars. Research to address these concerns is very active, with many papers released in the past few years. This survey paper is to conduct a review of the current research efforts on making DNNs safe and trustworthy, by focusing on four aspects, i.e., verification, testing, adversarial attack and defence, and interpretability. In total, we surveyed 178 papers, most of which were published in the most recent two years, i.e., 2017 and 2018.

研究の動機と目的

• 自律走行車両の死亡事故のような高リスクな事例が相次いだのを受けて、実世界応用における深層ニューラルネットワーク（DNN）の安全性と信頼性に関する懸念が高まっていることを踏まえ、それらを解決すること。
• 2017年から2018年の間の研究を体系的にレビューし、検証、テスト、敵対的ロバストネス、解釈可能性という4つの主要分野におけるDNNの安全性と信頼性を高めるための最近の研究動向を統合すること。
• 現在の研究におけるギャップや未解決の課題を特定し、より強固で信頼性のあるDNNシステムの開発を後押しする方向性を示すこと。
• 信頼性のあるAIを研究開発する研究者や実務家向けに、包括的かつ最新の参考文献を提供すること。

提案手法

• 主に2017年と2018年に発表された178篇の論文を対象とした体系的文献レビューを実施し、DNNの安全性と信頼性に関連する関連性に基づいて選定した。
• 形式的検証、テスト手法、敵対的攻撃・防御技術、解釈可能性アプローチという4つのコアテーマに沿って、研究貢献を分類・分析した。
• 各テーマについて、主な技術、前提条件、制限事項、および文献で報告された性能指標を検討した。
• 近年の進展に注目し、各分野における傾向、未解決の問題、および未解決の課題を特定した。
• 論文間の分析結果を統合し、横断的な知見や研究の方向性を浮き彫りにした。

実験結果

リサーチクエスチョン

• RQ1 2017年から2018年の時点で、深層ニューラルネットワーク（DNN）の安全性と信頼性を保証する分野で顕著な研究分野は何か？
• RQ2 現在の検証およびテスト手法は、多様な条件下でもDNNの信頼性を保証するためにどれほど効果的か？
• RQ3 DNNの主な脆弱性は何か？ また、現在の防御手法はどれほど効果的か？
• RQ4 解釈可能性技術は、DNNにおけるユーザーの信頼性とシステムの透明性をどれほど向上させられるか？
• RQ5 信頼性のあるDNNに関する現在の研究における主要な未解決の課題と制限事項は何か？

主な発見

• DNNの安全性と信頼性に関する研究活動が著しく増加しており、特に敵対的ロバストネスと形式的検証分野が、自律システム分野での高リスク事例の影響を受けて活発化していることが明らかになった。
• 検証手法はスケーラビリティと精度の面で進歩を遂げたが、計算複雑性のため、小規模～中規模のネットワークに限定されている。
• 敵対的防御手法は、さまざまな程度の成功を収めているが、より強力で適応的な攻撃に対しては脆さが明らかになった。
• テストに基づく手法は、局所的な障害の検出には有効であるが、入力空間全体のカバレッジやレアケースのエッジ・ケースのカバーには困難を伴う。
• 解釈可能性技術はモデルの透明性とユーザーの信頼性を向上させるが、標準化が不十分で、厳密な評価フレームワークが欠如している。
• 進展は見られたが、スケーラビリティ、一般化、多様な応用分野における安全性保証の実世界での検証という点で、依然として主要な課題が残っている。