[論文レビュー] Evaluating Generalization Ability of Convolutional Neural Networks and Capsule Networks for Image Classification via Top-2 Classification

Hao Ren, Jianlin Su+1 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Neural Network Applications参考文献 25被引用数 11

ひとこと要約

本稿では、ランダムに連結された二クラス画像の上位2つのラベルを予測することで一般化をテストする、新しい評価タスク「Top-2分類」を提案する。パラメータ共有型キャプセル層（PS CapsNet）を導入し、パラメータ数を削減しながらも、CNN や FC CapsNet よりも顕著に高い精度を達成し、優れた一般化性能を示した。さらに、ProbAM と呼ばれる新たな可視化手法により、PS CapsNet が関連する物体に注目していることが明らかになったのに対し、CNN や FC CapsNet はそうではないことが分かった。

ABSTRACT

Image classification is a challenging problem which aims to identify the category of object in the image. In recent years, deep Convolutional Neural Networks (CNNs) have been applied to handle this task, and impressive improvement has been achieved. However, some research showed the output of CNNs can be easily altered by adding relatively small perturbations to the input image, such as modifying few pixels. Recently, Capsule Networks (CapsNets) are proposed, which can help eliminating this limitation. Experiments on MNIST dataset revealed that capsules can better characterize the features of object than CNNs. But it's hard to find a suitable quantitative method to compare the generalization ability of CNNs and CapsNets. In this paper, we propose a new image classification task called Top-2 classification to evaluate the generalization ability of CNNs and CapsNets. The models are trained on single label image samples same as the traditional image classification task. But in the test stage, we randomly concatenate two test image samples which contain different labels, and then use the trained models to predict the top-2 labels on the unseen newly-created two label image samples. This task can provide us precise quantitative results to compare the generalization ability of CNNs and CapsNets. Back to the CapsNet, because it uses Full Connectivity (FC) mechanism among all capsules, it requires many parameters. To reduce the number of parameters, we introduce the Parameter-Sharing (PS) mechanism between capsules. Experiments on five widely used benchmark image datasets demonstrate the method significantly reduces the number of parameters, without losing the effectiveness of extracting features. Further, on the Top-2 classification task, the proposed PS CapsNets obtain impressive higher accuracy compared to the traditional CNNs and FC CapsNets by a large margin.

研究の動機と目的

• CNN と CapsNet の間で一般化能力を定量的に比較する手法の不足に対処すること。
• モデルのロバスト性と一般化能力を評価するための、標準的な単一ラベル画像分類よりも効果的な評価プロトコルの開発。
• 従来の CapsNet における高いパラメータ数を削減しながらも、特徴表現を維持または向上させること。
• 推論時に CapsNet が画像のどの部分に注目しているかを直感的に理解できる可視化ツールの提供。
• CapsNet が複雑で未知の多対象入力において、CNN よりも優れた一般化性能を示すことを検証すること。

提案手法

• Top-2分類の提案：単一ラベル画像で学習するが、異なるラベルの二画像をランダムに連結したサンプルでテストする。
• キャプセル間のパラメータ共有（PS）機構を導入し、キャプセル層のパラメータ数を削減する。
• 全結合キャプセル層の代わりに、PS キャプセル層を用いた PS CapsNet モデルを設計する。
• 予測確率に基づいてキャプセルが注目している画像領域を強調する可視化技術「Probability-guided Activation Mapping（ProbAM）」を開発する。
• CNN には Grad-CAM を、CapsNet には ProbAM を使用し、注目メカニズムの比較可視化を可能にする。
• 5つのベンチマークデータセット（STL-10、CIFAR-10 など含む）でモデルを学習し、Top-2分類タスクでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な画像分類よりも、Top-2分類がモデルの一般化能力を評価するためのより効果的な定量的ベンチマークとして機能するか？
• RQ2 提案された PS CapsNet は、多対象画像入力において、標準的な CNN や FC CapsNet よりも優れた一般化性能を達成するか？
• RQ3 複雑で未知の二対象画像を分類する際、CapsNet の注目パターンは CNN とはどのように異なるか？
• RQ4 ProbAM 可視化手法は、CapsNet において意味的で解釈可能な注目領域をどの程度明らかにできるか？
• RQ5 キャプセル層におけるパラメータ共有は、性能や一般化能力に損なわれることなく、モデルの複雑さを低減できるか？

主な発見

• PS CapsNet は、5つのベンチマークデータセットにおいて、CNN や FC CapsNet よりも顕著に高い精度を達成し、優れた一般化性能を示した。
• STL-10 データセットでは、単一ラベル画像で 75.36% のテスト精度を達成し、二ラベル画像でも高い性能を維持しており、効果的な特徴学習が行われていることが示された。
• ProbAM 可視化により、PS CapsNet は二ラベル画像の両方の物体に正しく注目しているのに対し、CNN は物体と背景を区別できず、FC CapsNet は片方の物体にのみ注目していることが分かった。
• すべてのモデル（CNN、FC CapsNet、PS CapsNet）の最初の畳み込み層は、物体の輪郭を検出し、背景ノイズを抑制する学習をした。これは人間の視覚処理の原則と整合的であった。
• PS キャプセル層は、FC キャプセル層に比べてパラメータ数を削減し、性能に損なわれることなくモデルの効率性を向上させた。
• ProbAM の定性的な結果から、PS CapsNet は特に多対象シナリオにおいて、CNN や FC CapsNet よりもより強固で意味的・意味のある表現を学習していることが確認された。