[論文レビュー] Self-Attention Capsule Networks for Image Classification.

Assaf Hoogi, Brian Wilcox+2 more|arXiv (Cornell University)|Apr 29, 2019

Brain Tumor Detection and Classification被引用数 8

ひとこと要約

本稿では、自己注意機構をキャプセルネットワークに統合することで特徴選択と長距離依存性モデリングを向上させる、新たなアーキテクチャである自己注意キャプセルネットワーク（SACN）を提案する。自己注意を用いてキャプセルルーティングの前に顕著な画像領域を強調することで、SACNは医療画像ベンチマークや自然画像ベンチマークを含む多様なデータセットにおいて、ベースラインのCapsNet、ResNet-18、DenseNet-40を上回る分類精度と頑健性を実現する。

ABSTRACT

We propose a novel architecture for object classification, called Self-Attention Capsule Networks (SACN). SACN is the first model that incorporates the Self-Attention mechanism as an integral layer within the Capsule Network (CapsNet). While the Self-Attention mechanism supplies a long-range dependencies, results in selecting the more dominant image regions to focus on, the CapsNet analyzes the relevant features and their spatial correlations inside these regions only. The features are extracted in the convolutional layer. Then, the Self-Attention layer learns to suppress irrelevant regions based on features analysis and highlights salient features useful for a specific task. The attention map is then fed into the CapsNet primary layer that is followed by a classification layer. The proposed SACN model was designed to solve two main limitations of the baseline CapsNet - analysis of complex data and significant computational load. In this work, we use a shallow CapsNet architecture and compensates for the absence of a deeper network by using the Self-Attention module to significantly improve the results. The proposed Self-Attention CapsNet architecture was extensively evaluated on six different datasets, mainly on three different medical sets, in addition to the natural MNIST, SVHN and CIFAR10. The model was able to classify images and their patches with diverse and complex backgrounds better than the baseline CapsNet. As a result, the proposed Self-Attention CapsNet significantly improved classification performance within and across different datasets and outperformed the baseline CapsNet, ResNet-18 and DenseNet-40 not only in classification accuracy but also in robustness.

研究の動機と目的

• 複雑なデータ処理と高い計算負荷の問題を抱えるCapsNetの限界を克服すること。
• 注意メカニズムを用いて顕著な画像領域に焦点を当てることで、特徴表現を向上させること。
• 複雑な背景や多様な構造を持つデータセットにおける分類性能を向上させること。
• キャプセルネットの浅いアーキテクチャを補完するために、自己注意を活用してより深い特徴抽象化を実現すること。
• 複数のベンチマークにおいて、CapsNet、ResNet-18、DenseNet-40と比較して優れた頑健性と精度を示すことを実証すること。

提案手法

• 畳み込み特徴抽出の後に専用の層として自己注意機構を統合し、関係のない画像領域を抑制する。
• 注意マップを用いてプライマリキャプセル層をガイドし、顕著な空間的特徴にキャプセルルーティングを集中させる。
• 強調された領域内の空間的関係性とポーズベクトルをモデル化するためにキャプセルネットを適用する。
• 注意に基づく特徴選択とキャプセルルーティングを統合し、表現学習を向上させる。
• 特徴抽象化に注意に依存することで、深層ネットワークを避ける軽量なアーキテクチャを設計する。
• 注意損失およびキャプセル損失のコンponentを含む、標準的な誤差逆伝播法を用いてエンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 自己注意はキャプセルネットワークにおける特徴選択と長距離依存性モデリングをどのように改善するか？
• RQ2 SACNは、複雑で多様なデータセット、特にごみだらけの背景を有する医療画像において、どのように性能を発揮するか？
• RQ3 SACNは、ベースラインのCapsNet、ResNet-18、DenseNet-40と比較して、精度と頑健性の面でどの程度優れているか？
• RQ4 浅いキャプセルネットワークが注意駆動の特徴集中によって競争力ある性能を達成できるか？
• RQ5 自己注意の統合により、モデルの異なる画像クラスおよびドメインへの一般化能力が向上するか？

主な発見

• SACNは、評価されたすべてのデータセットでベースラインのCapsNetと比較して顕著に分類精度が向上した。
• SACNは、テストされたベンチマークにおいて、精度と頑健性の両面でResNet-18とDenseNet-40を上回った。
• SACNは、複雑でごみだらけの背景を持つ医療画像データセットにおいて、優れた性能を示した。
• 自己注意の統合により、顕著な特徴への焦点が高まり、関係のない画像領域からの干渉が低減された。
• SACNは浅いキャプセルネットワークを採用しているにもかかわらず、注意による補完が効果的であることを示した。
• SACNは、画像コンテンツの変化や背景の複雑さの変動に対しても、頑健性が向上した。