[論文レビュー] Towards Neural Network Patching: Evaluating Engagement-Layers and Patch-Architectures

Sebastian Kauschke, David Lehmann|arXiv (Cornell University)|Dec 9, 2018

Data Stream Mining Techniques参考文献 14被引用数 5

ひとこと要約

この論文は、内部特徴表現を用いて誤分類を補正するパッチネットワークと誤差推定器を学習することで、概念ずれに対応するためのニューラルネットワークパッチング（NN-Patching）を提案する。パッチのランダム初期化と中程度から深層の接続層を用いた包括的パッチ学習が、再訓練が不実用な非ステーショナリ環境における適応速度と回復ランクにおいて、トランスファー学習を上回る最良のパフォーマンスを達成することが分かった。

ABSTRACT

In this report we investigate fundamental requirements for the application of classifier patching on neural networks. Neural network patching is an approach for adapting neural network models to handle concept drift in nonstationary environments. Instead of creating or updating the existing network to accommodate concept drift, neural network patching leverages the inner layers of the network as well as its output to learn a patch that enhances the classification and corrects errors caused by the drift. It learns (i) a predictor that estimates whether the original network will misclassify an instance, and (ii) a patching network that fixes the misclassification. Neural network patching is based on the idea that the original network can still classify a majority of instances well, and that the inner feature representations encoded in the deep network aid the classifier to cope with unseen or changed inputs. In order to apply this kind of patching, we evaluate different engagement layers and patch architectures in this report, and find a set of generally applicable heuristics, which aid in parametrizing the patching procedure.

研究の動機と目的

• 再訓練が不実用な非ステーショナリ環境における概念ずれの課題に対処すること。
• 誤分類の補正に有効に活用できる内部特徴表現（接続層）とパッチアーキテクチャを効果的に活用する方法を調査すること。
• パッチネットワークの適応パフォーランスを最適化するために、さまざまな学習方式（包括的、排他的、準排他的）を評価すること。
• 適応速度、正確性、および深刻な忘却に対する耐性の観点から、ニューラルネットワークパッチングをトランスファー学習手法と比較すること。
• 実世界のシナリオにおいて迅速かつ信頼性の高い適応を可能にするために、接続層とパッチアーキテクチャの選定に役立つ実用的ヒューリスティクスを提供すること。

提案手法

• ベースネットワークの内部活性化上でパッチネットワークと誤差推定器を学習することで、深層ニューラルネットワークに分類器パッチを適用する。
• 接続層—ベースネットワークの途中の特徴マップ—を用いて、パッチ学習に適した転送可能な表現を抽出する。
• 3つの学習方式を実装する：包括的（パッチとベース分類器の両方を用いる）、排他的（誤差領域でのみパッチを使用）、および準排他的（ハイブリッド方式）。
• 誤差領域をベース分類器またはパッチネットワークの両方でモデル化するが、後者のほうが多くの場合でパフォーマンスが向上した。
• パッチの性能を、トランスファー学習の重みとランダム初期化で評価し、ほとんどのシナリオでランダム初期化が優れていることが判明した。
• 深刻な忘却を軽減するために、元のデータで再トレーニングするリハーより（再トレーニング）を誤差推定器ネットワークに適用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのどの接続層が、効果的なパッチングに最も転送可能な特徴を提供するか？
• RQ2 異なるパッチアーキテクチャと学習方式（包括的、排他的、準排他的）は、概念ずれ下での適応パフォーマンスにどのように影響するか？
• RQ3 ベース分類器ではなくパッチネットワークの誤差領域をモデル化することで、全体の正確性と耐性が向上するか？
• RQ4 適応速度と正確性回復の観点から、ニューラルネットワークパッチングはトランスファー学習と比べてどの程度優れているか？
• RQ5 ベースネットワークの重みをトランスファー学習する場合、ランダム初期化と比較して、どのような条件下で有益か？

主な発見

• 包括的パッチ学習は、誤差領域推定の不正確さに対する耐性が高いため、排他的および準排他的方式を常に上回る。
• 中程度から深層の接続層（例：3〜5個の畳み込みブロックの後）が、パッチ学習に最も転送可能な特徴を提供する。パフォーマンスは活性化関数とネットワークアーキテクチャに依存する。
• ほとんどの場合、パッチネットワークのランダム初期化がトランスファー学習よりも優れた結果をもたらすが、ベース分類器がズレ後でも50％以上の正確性を維持している場合を除く。
• ベース分類器ではなくパッチネットワークの誤差領域をモデル化することで、特にズレが段階的である場合、多くのシナリオでパフォーマンスが向上する。
• ニューラルネットワークパッチングは、全結合型、畳み込み型、残差型アーキテクチャのすべてにおいて、適応速度と回復ランクの両面でトランスファー学習を上回る。
• 残差ネットワーク（ResNets）は自然な高速適応能力を示しており、そのアーキテクチャが概念ずれのシナリオに本質的に適していると考えられる。