[論文レビュー] HitNet: a neural network with capsules embedded in a Hit-or-Miss layer, extended with hybrid data augmentation and ghost capsules

Adrien Deliège, Anthony Cioppa+1 more|arXiv (Cornell University)|Jun 18, 2018

Advanced Neural Network Applications参考文献 23被引用数 39

ひとこと要約

HitNetは、従来の分類層の代わりにHit-or-Miss（HoM）層のキャプセルを採用する、新しいニューラルネットワークアーキテクチャを提案する。重心損失を用いることで分類精度と速度が向上し、MNISTでは最先端の性能を達成。複数のデータセットでCapsNetを上回り、学習済みプロトタイプとゴーストキャプセルを用いたハイブリッドデータオーグメンテーションにより、誤標籤されたデータの検出が可能となる。

ABSTRACT

Neural networks designed for the task of classification have become a commodity in recent years. Many works target the development of better networks, which results in a complexification of their architectures with more layers, multiple sub-networks, or even the combination of multiple classifiers. In this paper, we show how to redesign a simple network to reach excellent performances, which are better than the results reproduced with CapsNet on several datasets, by replacing a layer with a Hit-or-Miss layer. This layer contains activated vectors, called capsules, that we train to hit or miss a central capsule by tailoring a specific centripetal loss function. We also show how our network, named HitNet, is capable of synthesizing a representative sample of the images of a given class by including a reconstruction network. This possibility allows to develop a data augmentation step combining information from the data space and the feature space, resulting in a hybrid data augmentation process. In addition, we introduce the possibility for HitNet, to adopt an alternative to the true target when needed by using the new concept of ghost capsules, which is used here to detect potentially mislabeled images in the training data.

研究の動機と目的

• アーキテクチャを単純化しつつキャプセルベースの表現力は維持したまま、画像分類の分野でCapsNetの代替手段としてより高速かつ高精度な手法を開発すること。
• 特徴空間のプロトタイプから生成された合成データと実データを組み合わせることで、効果的なデータオーグメンテーションを可能にすること。
• 代替クラス予測を評価するゴーストキャプセルを用いて、誤標籤されたトレーニング画像を検出すること。
• 動的ルーティングを必要としない最小限のキャプセル層が、複雑なキャプセルネットワークを上回ることを示すこと。

提案手法

• 真のクラスキャプセルを「ヒット」し、他のキャプセルを「ミス」するように訓練する、新しい重心損失関数を用いたHit-or-Miss（HoM）層を導入する。
• デコーダーとしての再構成ネットワークを用い、HoM層からの再構成特徴を変形することで、クラス固有の代表となるプロトタイプを生成する。
• 特徴空間におけるプロトタイプを変形して生成した合成画像と実際のトレーニング画像を組み合わせることで、ハイブリッドデータオーグメンテーションを実施する。
• 代替クラス予測をシミュレートするゴーストキャプセルを統合し、それらがターゲットを「ヒット」するかどうかを評価することで、曖昧または誤標籤されたサンプルの検出を可能にする。
• キャプセルベクトルの方向を保持し、活動ベクトルの長さが存在確率を符号化するように、スワーピング活性化関数を用いる。
• 分類用の重心損失とプロトタイプ生成用の再構成損失を組み合わせた損失関数を用い、ネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 新しい損失関数を用いた最小限のキャプセル層は、標準ベンチマークにおいてCapsNetを上回る精度と速度を達成できるか？
• RQ2 デコーダーから得られるプロトタイプは、データ空間と特徴空間の両方からの生成を組み合わせたハイブリッドデータオーグメンテーションに有効に利用できるか？
• RQ3 代替クラス予測を評価するゴーストキャプセルは、誤標籤された画像を検出できるか？
• RQ4 学習率の段階的低下や膨大なハイパーパramータチューニングを必要とせず、HitNetは一般化性能に優れているか？

主な発見

• HitNetは浅いアーキテクチャでMNISTデータセットにおいて最先端の性能を達成し、CapsNetの報告結果を上回った。
• HitNetは、affNIST、multiMNIST、SVHN、smallNORB、CIFAR10を含む複数のデータセットで再現したCapsNetの結果を上回り、少なくとも10倍の高速なトレーニングを実現した。
• 学習率の段階的低下を必要とせず、複数のランダムシードにおいても安定した収束と低い分散を示し、耐障害性が確認された。
• プロトタイプを用いたハイブリッドデータオーグメンテーションにより一般化性能が向上し、リアルな合成サンプルを生成することで分類精度がわずかに向上した。
• ゴーストキャプセルは、強い代替クラス予測を検出することで、懸念されるラベル誤りの可能性があるトレーニング画像を効果的に特定した。
• 重心損失を用いたHoM層は、動的ルーティングを用いるCapsNetよりも収束が速く、性能が優れており、キャプセルベースの空間的推論を維持している。