[論文レビュー] Fitted Learning: Models with Awareness of their Limits

Navid Kardan, Kenneth O. Stanley|arXiv (Cornell University)|Sep 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 8

ひとこと要約

この論文では、競争的な過剰出力層（COOL）を用いて、ニューラルネットワークが自らの知識の限界を認識できるようにするFitted Learningというフレームワークを紹介している。COOLは過剰一般化を低減し、 adversarial な例に対する頑健性を向上させ、再訓練を伴わずに継続的学習を可能にし、ドロップアウトを用いた場合にCIFAR-100で74.72%の精度を達成する標準CNNを上回る性能を発揮する。

ABSTRACT

Though deep learning has pushed the boundaries of classification forward, in recent years hints of the limits of standard classification have begun to emerge. Problems such as fooling, adding new classes over time, and the need to retrain learning models only for small changes to the original problem all point to a potential shortcoming in the classic classification regime, where a comprehensive a priori knowledge of the possible classes or concepts is critical. Without such knowledge, classifiers misjudge the limits of their knowledge and overgeneralization therefore becomes a serious obstacle to consistent performance. In response to these challenges, this paper extends the classic regime by reframing classification instead with the assumption that concepts present in the training set are only a sample of the hypothetical final set of concepts. To bring learning models into this new paradigm, a novel elaboration of standard architectures called the competitive overcomplete output layer (COOL) neural network is introduced. Experiments demonstrate the effectiveness of COOL by applying it to fooling, separable concept learning, one-class neural networks, and standard classification benchmarks. The results suggest that, unlike conventional classifiers, the amount of generalization in COOL networks can be tuned to match the problem.

研究の動機と目的

• 標準の深層学習分類器が過剰に一般化し、未知の入力を認識できないという限界を是正すること。
• ニューラルネットワークが自らの知識の境界を認識できるようにし、人間のような不確実性を再現すること。
• 再訓練を伴わずに新しいクラスを追加できるようにすることで、継続的学習を可能にすること。
• 負例を必要とせず、データに制約された緊密な意思決定境界を学習することで、1クラスニューラルネットワークを実現すること。
• 標準の深層学習アーキテクチャと互換性があり、簡単に統合できるシンプルで即席のメカニズムを開発すること。

提案手法

• 各クラスごとに複数のニューロンが入力パターンに応答するために競争する、競争的な過剰出力層（COOL）を導入する。
• 確率的勾配降下法を用いてCOOLネットを学習し、各クラス内のニューロンが入力空間の重複するが同一でない領域を学習できるようにする。
• 出力ニューロン間の競争を活用して、分類の信頼度をデータに近接する狭い領域に限定し、過剰一般化を低減する。
• COOLニューロンのアンサンブル的挙動を活用して、ドロップアウトと同様に指数関数的に多数のモデルを暗黙的に表現する。
• 標準的なバックプロパゲーションと最適化手法を用いてCOOLネットを学習するが、アーキテクチャの大幅な変更は不要である。
• 独立して訓練されたCOOLモジュールを組み合わせて、分離可能な概念学習のための統一された分類器を構築する。

実験結果

リサーチクエスチョン

• RQ1 入力が既知のどのクラスにも属しない場合に、ニューラルネットワークがそれを認識できるように訓練できるか。これにより、分布外の入力に対する過剰な自信が低減されるか。
• RQ2 負例を必要とせず、COOLネットが1クラスの意思決定境界を効果的に学習できるか。
• RQ3 再訓練を伴わずに新しいクラスを追加できるようにすることで、COOLが継続的学習を可能にするか。
• RQ4 標準の分類器と比較して、COOLメカニズムが adversarial な例に対する頑健性を向上させるか。
• RQ5 COOLは既存の深層学習アーキテクチャに統合可能で、標準ベンチマークでの性能向上に寄与するか。

主な発見

• COOLネットは、同じアーキテクチャとドロップアウトを用いた場合に、ELU-Network（75.72%）を除き、CIFAR-100で74.72%のテスト精度を達成し、いくつかの最先端モデルを上回った。
• COOLアーキテクチャは、悪意ある入力に対する誤分類の確信度を顕著に低下させ、標準ネットワークが99%以上の確信度で誤分類するのに対し、そのような誤りを著しく低減した。
• COOLは、データに制約された緊密な意思決定境界を学習することで、未知の入力を区別できるようにし、有効な1クラスニューラルネットワークの実現を可能にした。
• COOLにより、独立して訓練された分類器を統合して1つの統一されたモデルに組み合わせることができ、分離可能な概念学習の問題を解決した。
• COOLとドロップアウトの相乗効果により、性能が向上し、標準CNNにドロップアウトを適用した場合の72.79%から74.72%に向上した。
• 可視化の結果、COOLニューロンが重複するが同一でない領域を学習しており、トレーニングデータにさらに密着したフィットを実現し、過剰一般化が低減されていることが示された。