[論文レビュー] Generalization Error of Invariant Classifiers

Jure Sokolić, Raja Giryes+2 more|arXiv (Cornell University)|Oct 14, 2016

Neural Networks and Applications参考文献 25被引用数 19

ひとこと要約

本論文は、特定の入力変換に対して不変であるように設計された分類器が、非不変な対比的分類器と比較して顕著に低い一般化誤差（GE）を達成することを示す理論的枠組みを確立している。入力空間を基本空間と変換群に分解することで、GEが全入力空間の複雑さではなく、基本空間の複雑さに比例することを証明し、不変性によってGEが最大で√Tの要因まで低減可能であることを示している。ここでTは変換の数を表す。

ABSTRACT

This paper studies the generalization error of invariant classifiers. In particular, we consider the common scenario where the classification task is invariant to certain transformations of the input, and that the classifier is constructed (or learned) to be invariant to these transformations. Our approach relies on factoring the input space into a product of a base space and a set of transformations. We show that whereas the generalization error of a non-invariant classifier is proportional to the complexity of the input space, the generalization error of an invariant classifier is proportional to the complexity of the base space. We also derive a set of sufficient conditions on the geometry of the base space and the set of transformations that ensure that the complexity of the base space is much smaller than the complexity of the input space. Our analysis applies to general classifiers such as convolutional neural networks. We demonstrate the implications of the developed theory for such classifiers with experiments on the MNIST and CIFAR-10 datasets.

研究の動機と目的

• 機械学習における不変性と一般化誤差の低減を結びつける理論的枠組みの構築を目的とする。
• 変換に対する不変性が分類器の複雑さと一般化性能に与える影響を分析することを目的とする。
• 不変分類器が非不変分類器と比較して顕著に低い一般化誤差を達成する条件を導出することを目的とする。
• 理論をCNNやスキャターリング変換などの実用的なディープラーニングモデルと結びつけること。
• 不変性と変換幾何学を明示的に考慮した一般化誤差の境界を提供すること。

提案手法

• 入力空間Xを基本空間Bと変換群Gに分解し、X ≈ B × Gとすること。
• ヤコビ行列のスペクトルノルムを用いて安定な不変分類器を定義し、入力摂動に対する感度が有界であることを保証すること。
• 被覆数を用いて、ユークリッド距離に基づく基本空間Bと全入力空間Xの複雑さを測定すること。
• 被覆数に基づく一般化誤差の境界を導出し、GEがN(B; d, ε)に比例するが、N(X; d, ε)には比例しないことを示すこと。
• 基本空間Bと変換群Gに対して、Bの複雑さがXの複雑さよりも著しく小さいことを保証する十分な幾何的条件を確立すること。
• 畳み込みニューラルネットワークとスキャターリング変換に理論を適用し、MNISTおよびCIFAR-10における実験で検証すること。

実験結果

リサーチクエスチョン

• RQ1 入力変換に対する不変性は、学習アルゴリズムの一般化誤差にどのように影響するか？
• RQ2 不変分類器の一般化誤差は、全入力空間ではなく、基本空間の複雑さの観点から境界づけられるか？
• RQ3 基本空間と変換群にどのような幾何的条件が満たされると、一般化誤差が著しく低減されるか？
• RQ4 不変性は一般化誤差をどの程度低減可能であり、その低減は定量的に境界づけられるか？
• RQ5 提案された理論は、CNNやその他の不変アーキテクチャが一般化誤差を低減するという経験的事実をどのように説明できるか？

主な発見

• 不変分類器の一般化誤差は、全入力空間ではなく、基本空間の複雑さに比例する。
• 変換群のサイズがTである場合、不変分類器の一般化誤差は非不変分類器と比較して最大で√Tの要因まで低減可能である。
• 基本空間の複雑さが入力空間の複雑さよりも著しく小さいことを保証する十分な幾何的条件が存在し、これにより一般化誤差の大幅な低減が可能になる。
• 理論は、特定の変換に対して本質的に不変であるCNNやスキャターリング変換の一般化性能の向上を合理的に説明する。
• MNISTおよびCIFAR-10における実験結果は、不変学習が一般化誤差を低減することを検証しており、理論的予測と整合的である。
• 本フレームワークは、既知の変換群に対して不変である任意の分類器、特にディープラーニングモデルに広く適用可能である。