[論文レビュー] Testing Deep Neural Network based Image Classifiers.

Yuchi Tian, Ziyuan Zhong+2 more|arXiv (Cornell University)|May 20, 2019

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、DNNベースの画像分類モデルのクラス間におけるグループレベルの誤解やバイアスを、モデルの動作をクラス全体で分析することで特定する白ボックステストツールであるDeepInspectを提案する。本手法は、最先端の頑健なモデルにおいても、何百もの分類誤りを特定し、特定の集団に対するバイアスを露呈した。

ABSTRACT

Image classification is an important task in today's world with many applications from socio-technical to safety-critical domains. The recent advent of Deep Neural Network (DNN) is the key behind such a wide-spread success. However, such wide adoption comes with the concerns about the reliability of these systems, as several erroneous behaviors have already been reported in many sensitive and critical circumstances. Thus, it has become crucial to rigorously test the image classifiers to ensure high reliability. Many reported erroneous cases in popular neural image classifiers appear because the models often confuse one class with another, or show biases towards some classes over others. These errors usually violate some group properties. Most existing DNN testing and verification techniques focus on per image violations and thus fail to detect such group-level confusions or biases. In this paper, we design, implement and evaluate DeepInspect, a white box testing tool, for automatically detecting confusion and bias of DNN-driven image classification applications. We evaluate DeepInspect using popular DNN-based image classifiers and detect hundreds of classification mistakes. Some of these cases are able to expose potential biases of the network towards certain populations. DeepInspect further reports many classification errors in state-of-the-art robust models.

研究の動機と目的

• DNNベースの画像分類器におけるグループレベルの誤解やバイアスを検出するテスト手法の不足に対処すること。
• 特定の集団に対する不平等なバイアスや、クラス間のモデルの誤解に起因する分類誤りを特定すること。
• 個々の画像の違反を超えたシステム的欠陥を特定できる白ボックステストアプローチを開発すること。
• 一般的なおよび頑健なDNN画像分類器に対して、そのアプローチの有効性を評価すること。
• 従来のテスト手法が見逃す、隠れたバイアスや誤分類を明らかにすること。

提案手法

• DeepInspectは、複数のクラスにわたる活性化パターンと意思決定境界を分析することで、DNN画像分類器の白ボックス分析を実行する。
• モデルの隠れ層におけるクラス表現の類似度を測定することで、潜在的な誤解を同定する。
• グループレベルの分析を用いて、画像の異なる人口統計的または意味的グループ間での分類行動を比較することで、バイアスを検出する。
• 予測分布における異常を検出する統計的および構造的チェックを実施し、バイアスや誤解を示唆する。
• 勾配ベースおよび活性化ベースの指標を活用して、わずかではあるが体系的な誤分類を検出する。
• 本手法は、最先端のモデル、特に頑健で敵対的に訓練されたネットワークを対象に評価された。

実験結果

リサーチクエスチョン

• RQ1 従来の個別画像テストが見逃すグループレベルのクラス間誤解を、白ボックステストアプローチが検出できるか。
• RQ2 DNNベースの画像分類器が特定のクラスや集団に対してどの程度バイアスを示すか。
• RQ3 DeepInspectは、頑健で最先端のモデルにおける分類誤りをどの程度効果的に特定できるか。
• RQ4 グループレベルの分析によって明らかにされる系統的な誤分類の種類は何か。
• RQ5 標準的な評価指標では明らかでないバイアスをDeepInspectは検出できるか。

主な発見

• DeepInspectは、従来のテスト手法では露呈されなかった、一般的なDNNベースの画像分類器において何百もの分類誤りを検出した。
• 特定の集団に対する潜在的なバイアスがモデルで発見され、分類結果におけるシステム的不平等を示唆した。
• 最先端の頑健モデルにおいても複数の分類誤りが確認され、頑健性がグループレベルでの公平性や正確性を保証するものではないことが示された。
• 意味的に類似したクラス間でのグループレベルの誤解が特定され、意思決定境界のモデルの不安定性が明らかになった。
• 個別画像テストでは、クラス全体にわたって生じる構造的バイアスや誤解を検出できないことが明らかになった。
• DeepInspectは、DNNベースの画像分類における信頼性と公平性を確保するためには、白ボックスかつグループ認識型のテストが不可欠であることを示した。