[論文レビュー] How to Stop Off-the-Shelf Deep Neural Networks from Overthinking.

Yiğitcan Kaya, Tudor Dumitraş|arXiv (Cornell University)|Oct 16, 2018

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

この論文は、オフザシェルの深層ニューラルネットワークにおける「過剰思考（overthinking）」を特定する。これは、モデルが最終層に到達する前から正しく予測してしまう現象であり、計算リソースの無駄遣いと、誤分類の可能性を引き起こす。本研究では、内部分類器を追加することで信頼度に基づく早期終了を可能にする「シャロウ・ディープネットワーク（Shallow-Deep Network, SDN）」を提案。これにより、平均推論コストを50%以上削減しつつ、精度を維持するとともに、新たな誤分類度の指標を用いて破壊的誤分類を緩和する。

ABSTRACT

We characterize a prevalent weakness of deep neural networks (DNNs)---overthinking---which occurs when a DNN can reach correct predictions before its final layer. Overthinking is computationally wasteful, and it can also be destructive when, by the final layer, a correct prediction changes into a misclassification. Understanding overthinking requires studying how each prediction evolves during a DNN's forward pass, which conventionally is opaque. For prediction transparency, we propose the Shallow-Deep Network (SDN), a generic modification to off-the-shelf DNNs that introduces internal classifiers. We apply SDN to four modern architectures, trained on three image classification tasks, to characterize the overthinking problem. We show that SDNs can mitigate the wasteful effect of overthinking with confidence-based early exits, which reduce the average inference cost by more than 50% and preserve the accuracy. We also find that the destructive effect occurs for 50% of misclassifications on natural inputs and that it can be induced, adversarially, with a recent backdooring attack. To mitigate this effect, we propose a new confusion metric to quantify the internal disagreements that will likely lead to misclassifications.

研究の動機と目的

• オフザシェルの事前学習済み深層ニューラルネットワークにおける「過剰思考（overthinking）」を特定・特徴づけること。これは、最終層に到達する前から正しく予測される現象である。
• 早期に正しく予測された後も不要な順方向伝搬が行われることによる計算リソースの無駄遣いを削減すること。
• 特に敵対的条件下で、正しく予測されたものが最終層によって誤分類に変わることのリスクを軽減すること。
• 再学習を必要とせず、既存のDNNに適用可能な汎用的かつアーキテクチャに依存しない方法を構築すること。

提案手法

• オフザシェルDNNの中間層に内部分類器を挿入する汎用的変更である「シャロウ・ディープネットワーク（SDN）」を導入する。
• 信頼度に基づく早期終了を採用：内部分類器の予測信頼度がしきい値を超えると、推論を早期に終了し、フルな順方向伝搬を回避する。
• オリジナルDNNの最終層からの知識蒸留を用いて内部分類器を学習させ、精度を維持する。
• 内部分類器間の不一致を定量化する新しい誤分類度指標を提案。これにより、最終層での誤分類が生じる可能性の高いケースを特定する。
• 4つの現代的アーキテクチャ（例：ResNet、DenseNet）を用い、3つの画像分類ベンチマークで性能を評価する。
• 破壊的行動を誘発する敵対的バックドア攻撃を用いて、提案手法の耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 オフザシェルDNNは、自然入力においてどの程度「過剰思考（overthinking）」を示すか、すなわち最終層に到達する前から正しく予測されるか？
• RQ2 内部分類器の信頼度に基づく早期終了を導入することで、どの程度計算コストを削減できるか？
• RQ3 最終層が正しく予測されたものを誤分類に変える頻度はどの程度で、これは予測可能または防止可能か？
• RQ4 提案された誤分類度指標は、最終層での誤分類を引き起こす内部不一致を効果的に特定できるか？
• RQ5 SDNフレームワークは、再学習を必要とせず、既存のDNNにどの程度汎用的に適用可能か？

主な発見

• 自然入力における誤分類の50%で「過剰思考（overthinking）」が発生しており、正しく予測されたものが最終層で変更されている。
• 最近のバックドア攻撃を用いることで、過剰思考の破壊的影響を誘発でき、標準的なDNNの脆弱性を示している。
• 信頼度に基づく早期終了により、SDNは平均推論コストを50%以上削減しつつ、元のモデルの精度を維持している。
• 提案された誤分類度指標は、最終層での誤分類を引き起こす内部不一致を効果的に特定している。
• SDNフレームワークは4つの現代的アーキテクチャと3つの画像分類タスクに適用可能であり、広範な適用性を示している。
• SDN内の内部分類器は、元のDNNの再学習を必要とせず、精度を維持しながら効率的な推論を可能にしている。