[論文レビュー] MNIST-NET10: A heterogeneous deep networks fusion based on the degree of certainty to reach 0.1 error rate. Ensembles overview and proposal

Siham Tabik, Ricardo F. Alvear-Sandoval+4 more|arXiv (Cornell University)|Jan 30, 2020

Remote-Sensing Image Classification参考文献 33被引用数 4

ひとこと要約

本稿では、MNIST-NET10と呼ばれる、2つの異なるアーキテクチャ—データ拡張を伴うCNNと、ECOCおよびバギングを用いたCapsNetベースのパイプライン—を、新しい「確信度の度合い集約戦略」を用いて融合する、複雑な非均質的ディープラーニングアンサンブルを提案する。この手法により、モデル、データ、および統合レベルの多様性を活用して、MNISTで0.1%という新たなSOTA誤差率を達成し、10,000枚のテスト画像のうちたった10枚しか誤分類しなかった。

ABSTRACT

Ensemble methods have been widely used for improving the results of the best single classificationmodel. A large body of works have achieved better performance mainly by applying one specific ensemble method. However, very few works have explored complex fusion schemes using het-erogeneous ensembles with new aggregation strategies. This paper is three-fold: 1) It provides an overview of the most popular ensemble methods, 2) analyzes several fusion schemes using MNIST as guiding thread and 3) introduces MNIST-NET10, a complex heterogeneous fusion architecture based on a degree of certainty aggregation approach; it combines two heterogeneous schemes from the perspective of data, model and fusion strategy. MNIST-NET10 reaches a new record in MNISTwith only 10 misclassified images. Our analysis shows that such complex heterogeneous fusionarchitectures based on the degree of certainty can be considered as a way of taking benefit fromdiversity.

研究の動機と目的

• MNISTにおける単一アンサンブル戦略を超えた複雑な統合スキームの探求。
• 非均質的モデル、データ表現、および統合技術の組み合わせにより一般化性能とロバスト性の向上。
• 多様性駆動のアンサンブル設計により、MNISTにおける新たなSOTA誤差率の達成。
• 非均質アンサンブルにおける新しい「確信度の度合い集約」法の有効性の評価。

提案手法

• 本手法は、2つの非均質的統合スキームを組み合わせる：1つ目はデータ拡張を伴う複数のCNNに基づくもの（FS1）、2つ目はCapsNetを用いて入力を変換し、その後ECOCとバギングを適用するもの（FS2）。
• 最終予測を投票数の重み付き和として計算する「確信度の度合い集約戦略」を導入する。式は $ d = \arg\max_{d_i} \left[ \frac{v_1(d_i)}{9} + \frac{v_2(d_i)}{101} \right] $ であり、重みは各アンサンブル内の分類器の数を反映している。
• 最初の統合スキーム（FS1）は、多様性を高めるためにデータ拡張と複数のCNNアーキテクチャを用いる。
• 2番目のスキーム（FS2）は、注意に配慮した特徴を抽出するためにCapsNetを適用し、その後ECOCとバギングを適用してさらに多様性と正確性を向上させる。
• 最終的なアンサンブル、MNIST-NET10は、FS1とFS2の出力を「確信度の度合い集約法」で統合し、全体の予測信頼性と正確性を向上させる。
• 誤差率推定の統計的妥当性と信頼性を確保するため、10回の実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 複数のアンサンブル戦略を組み合わせた非均質的で複雑な統合アーキテクチャは、既存のSOTAを超えてMNIST分類を改善できるか？
• RQ2 「確信度の度合い集約」法は、非均質アンサンブルにおいて標準的な投票や平均化よりも優れているか？
• RQ3 CapsNetベースのデータ変換は、MNISTのアンサンブル学習においてどの程度性能を向上させるか？
• RQ4 データレベル、モデルレベル、および統合レベルの多様性を組み合わせることで、誤差低減にどの程度寄与するか？
• RQ5 提案された統合スキームは、MNISTでテスト誤差率を0.1%未満に抑えることができるか？

主な発見

• MNIST-NET10は、0.10% ± 0.02%のテスト誤差率を達成し、10,000枚のテスト画像のうちたった10枚しか誤分類しなかった。これは新たなSOTAを樹立した。
• 「確信度の度合い集約」戦略は、2つの非均質的アンサンブルを効果的に統合し、個々の統合スキームを上回る性能を実現した。
• FS1（データ拡張付きCNNベース）は10個の数字を誤分類したが、FS2（CapsNetベースのECOCおよびバギング）は4個の数字を誤分類し、統合によりそのうち10個の誤分類が是正された。
• CapsNet入力（データセット-3）は、元のMNIST（データセット-2）よりも一貫して性能を向上させ、特に第2段階の統合（FS3）で顕著であった。
• LS層をバギング|SDAEに置き換えることで、データセット-2ではFS3の性能が向上したが、データセット-3では効果が認められず、CapsNetの高い特徴抽出能力を示した。
• 残りの誤分類された数字は視覚的に曖昧なものであり、さらなる改善は実用的利点としてほとんど得られないだろう。