[論文レビュー] APAC: Augmented PAttern Classification with Neural Networks

Ikuro Sato, Hiroki Nishimura+1 more|arXiv (Cornell University)|May 13, 2015

Advanced Neural Network Applications参考文献 19被引用数 108

ひとこと要約

この論文では、データ拡張で訓練されたニューラルネットワーク分類器のための新しい意思決定ルールであるAPAC（Augmented PAttern Classification）を提案する。単一のフォワードプロパゲーション予測ではなく、テストサンプルの複数の拡張バージョンからのソフトマックス出力を集約することで、一般化性能が著しく向上する。APACは、MNISTで0.23%のテスト誤差（非アンサンブル結果として最高）を達成し、マルチレイヤーパーセプトロン（MLP）を用いてもCIFAR-10で一部のCNNを上回る最先端の性能を達成する。

ABSTRACT

Deep neural networks have been exhibiting splendid accuracies in many of visual pattern classification problems. Many of the state-of-the-art methods employ a technique known as data augmentation at the training stage. This paper addresses an issue of decision rule for classifiers trained with augmented data. Our method is named as APAC: the Augmented PAttern Classification, which is a way of classification using the optimal decision rule for augmented data learning. Discussion of methods of data augmentation is not our primary focus. We show clear evidences that APAC gives far better generalization performance than the traditional way of class prediction in several experiments. Our convolutional neural network model with APAC achieved a state-of-the-art accuracy on the MNIST dataset among non-ensemble classifiers. Even our multilayer perceptron model beats some of the convolutional models with recently invented stochastic regularization techniques on the CIFAR-10 dataset.

研究の動機と目的

• データ拡張で訓練された際の標準的な分類処理で用いられる非最適な意思決定ルールに課題を提示すること。
• 推論時に拡張データに対する予測の方法を再考することで、一般化性能を向上させること。
• データ拡張下での最適な意思決定には、単一サンプル推論ではなく、仮想的サンプルの期待値最大化が必要であることを示すこと。
• 単純なモデル（例：MLP）であっても、提案されたAPAC推論ルールを組み合わせることで高い性能を達成できることを示すこと。

提案手法

• APACは、1つのテスト入力の複数のデータ拡張バージョンにおけるソフトマックス確率の積を計算する。
• 各拡張バージョンは、訓練時と同一の変形関数（例：エラスティック歪み、色相のシフト）を用いて生成される。
• 最終的な予測は、すべての拡張サンプルにおいて確率の積が最大となるクラスを選択することで行われる。
• このアプローチは、変形パラメータに関する損失関数の期待値を近似し、推論を訓練の目的と整合させる。
• この手法は、アーキテクチャの変更なしにCNNおよびMLPの両方のアーキテクチャに適用可能で、推論ステップのみを変更する。
• 確率の積（和や最大値ではない）を用いることは、拡張されたインスタンス間のクラス予測の同時尤度を最大化するという観点から正当化される。

実験結果

リサーチクエスチョン

• RQ1 モデルがデータ拡張で訓練された場合、テスト予測に単一のフォワードプロパゲーションを用いることで性能が非最適になるのか？
• RQ2 アーキテクチャの変更なしに、推論時の意思決定ルールを改善することで一般化性能を顕著に向上させられるか？
• RQ3 意思決定に、拡張サンプル間の確率の積が、和や最大値よりも効果的か？
• RQ4 提案されたAPAC推論ルールを用いることで、単純なMLPが複雑なCNNを上回る性能を達成できるか？
• RQ5 APACは、ネットワーク重みの学習された特徴表現にどのように影響を与えるか？

主な発見

• APACはMNISTデータセットで0.23%のテスト誤差を達成し、非アンサンブル分類器の中で最高の結果であった。
• MNISTにおけるAPACのトップ2予測誤差率はわずか0.01%であり、予測の信頼性が極めて高いことを示している。
• CIFAR-10では、APACを用いたMLPモデルが、高度な確率的正則化技術を用いて訓練された複数のCNNモデルを上回った。
• APACで訓練されたモデルの重みマップは、特にMLPにおいて局所的特徴への感受性が向上しており、不変性の向上と過学習の低減を示している。
• すべてのケースにおいて（CIFAR-10-MLPを除き）、確率の積が和よりも優れた性能を示した。これは、同時尤度の最大化に適していることを支持する。
• APACは、局所的特徴抽出を想定していないアーキテクチャ（例：標準的なMLP）に対しても一般化性能を向上させた。