[論文レビュー] Data Sanity Check for Deep Learning Systems via Learnt Assertions

Haochuan Lu, Huanlin Xu+3 more|ArXiv.org|Sep 6, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用数 5

ひとこと要約

本稿では、自己符号化器ベースのアサーションを用いてデータの妥当性チェックを実行することで、深層学習システムの信頼性を向上させる軽量で非侵襲的なツール、SaneDLを提案する。中間層の活性化における挙動のずれを検出することで、SaneDLは実世界の無効な入力を高い正確性で特定でき、MNIST/Fashion-MNISTおよびGTSRB/FlickrLogos-27データセットを用いた2つの実用的シナリオにおいて、AUCスコアが0.97を超える結果を達成した。

ABSTRACT

Reliability is a critical consideration to DL-based systems. But the statistical nature of DL makes it quite vulnerable to invalid inputs, i.e., those cases that are not considered in the training phase of a DL model. This paper proposes to perform data sanity check to identify invalid inputs, so as to enhance the reliability of DL-based systems. We design and implement a tool to detect behavior deviation of a DL model when processing an input case. This tool extracts the data flow footprints and conducts an assertion-based validation mechanism. The assertions are built automatically, which are specifically-tailored for DL model data flow analysis. Our experiments conducted with real-world scenarios demonstrate that such an assertion-based data sanity check mechanism is effective in identifying invalid input cases.

研究の動機と目的

• 深層学習システムにおける無効な入力の取り扱いという、ニューラルネットワークの統計的性質に起因する予測不能な挙動を引き起こす深刻な課題に取り組む。
• トレーニング分布外の異常入力を検出することで、システムの信頼性を向上させる。
• ターゲットの深層学習モデルの変更を要しない、非侵襲的で即挿し可能なメカニズムを開発する。
• 人工的に生成されたまたは操作されたテストケースに依存せず、実世界の無効な入力を効果的にランタイムで検出できるようにする。

提案手法

• 事前にトレーニングされた深層ニューラルネットワーク（DNN）の中間層に、自己符号化器（AE）ネットワークをアサーションとして挿入する。
• 有効なトレーニングデータからの中間層活性化を用いて、自己符号化器をトレーニングし、再構成関数を学習する。
• 各入力に対して、中間特徴量における自己符号化器の再構成誤差を計算する；高い誤差は潜在的な無効性を示唆する。
• 有効なトレーニングサンプルにおける平均再構成誤差にスケール係数δ（2–4）を適用して動的閾値を設定する。
• すべてのアサーション誤差がその対応する閾値以下である場合にのみ、入力を有効とみなす。
• 検出性能を評価するために、異なるδ値およびモデルアーキテクチャに対して、TPR、FPR、およびROC-AUCを評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャの変更なしに、アサーションベースのメカニズムが深層学習システムにおける無効な入力を検出できるか？
• RQ2 自己符号化器ベースの異常検出は、トレーニング分布とは異なる実世界の無効な入力を特定するのにどの程度有効か？
• RQ3 閾値スケーリング係数δが、真正陽性率と偽陽性率のトレードオフにどの程度影響を与えるか？
• RQ4 提案手法は、LeNet、AlexNet、VGG16などの異なるネットワークアーキテクチャおよびMNIST、GTSRB、FlickrLogos-27などの実世界データセットに一般化可能か？

主な発見

• AlexNetを用いたFashion-MNISTとMNISTのハイブリッドデータセットにおいて、SaneDLはTPRが0.9975、FPRが0.0221を達成し、強力な検出能力を示した。
• GTSRBとFlickrLogos-27のハイブリッドデータセットにおいて、SaneDLはAlexNetを用いる際にAUCスコア0.9808、VGG16を用いる際に0.9716を達成し、アーキテクチャを越えて堅牢な性能を示した。
• 訓練中に見られなかった実世界の例（例えば、手書き数字や商業ロゴ）を含む無効な入力に対しても、高い検出正確性を維持した。
• 最適な閾値スケーリング係数δは、実験全体を通して[2, 4]の範囲に位置することが判明し、感度と特異度のバランスをとれた。
• SaneDLは非侵襲的に動作し、ターゲットの深層学習モデルの再トレーニングやアーキテクチャの変更を一切必要としなかった。
• フレームワークは、データフローにおける挙動のずれに基づいて無効な入力を効果的に特定した。これにより、このようなずれが入力異常の信頼できる指標であることが確認された。