[論文レビュー] Learning with Capsules: A Survey

Fabio De Sousa Ribeiro, Kévin Duarte+3 more|arXiv (Cornell University)|Jun 6, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本調査は、動的ルーティングを通じて階層的な部分-全体関係をモデル化することにより、オブジェクト中心でポーズに敏感な表現を学習するためのCNNの代替手段としてのカプセルネットワークについて包括的な概要を提供する。アテンション機構と類似する点、画像認識、自然言語処理、医療画像分野への応用、今後の研究における効率性、スケーラビリティ、不変性の課題を強調している。

ABSTRACT

Capsule networks were proposed as an alternative approach to Convolutional Neural Networks (CNNs) for learning object-centric representations, which can be leveraged for improved generalization and sample complexity. Unlike CNNs, capsule networks are designed to explicitly model part-whole hierarchical relationships by using groups of neurons to encode visual entities, and learn the relationships between those entities. Promising early results achieved by capsule networks have motivated the deep learning community to continue trying to improve their performance and scalability across several application areas. However, a major hurdle for capsule network research has been the lack of a reliable point of reference for understanding their foundational ideas and motivations. The aim of this survey is to provide a comprehensive overview of the capsule network research landscape, which will serve as a valuable resource for the community going forward. To that end, we start with an introduction to the fundamental concepts and motivations behind capsule networks, such as equivariant inference in computer vision. We then cover the technical advances in the capsule routing mechanisms and the various formulations of capsule networks, e.g. generative and geometric. Additionally, we provide a detailed explanation of how capsule networks relate to the popular attention mechanism in Transformers, and highlight non-trivial conceptual similarities between them in the context of representation learning. Afterwards, we explore the extensive applications of capsule networks in computer vision, video and motion, graph representation learning, natural language processing, medical imaging and many others. To conclude, we provide an in-depth discussion regarding the main hurdles in capsule network research, and highlight promising research directions for future work.

研究の動機と目的

• 基礎的な概念や動機に関する統合的かつ包括的な参照を提供し、カプセルネットワーク研究における統合的ポイントの欠如を補う。
• カプセルルーティングメカニズムの技術的進化と、生成的および幾何的アプローチを含むさまざまな定式化を分析する。
• カプセルネットワークとトランスフォーマーにおけるアテンション機構との間の概念的類似性を調査し、特に高次元の一致フィルタリングと同意に基づく特徴検出の観点から分析する。
• コンピュータビジョン、自然言語処理、医療画像、故障診断、改ざん検出など、カプセルネットワークの多様な応用を調査する。
• 主な未解決課題、特に計算効率の悪さ、スケーラビリティ、形式的な不変性保証の必要性を特定・議論し、今後の研究の方向性を提案する。

提案手法

• カプセルネットワークの基本的原則を体系的に分類・説明する。特に、エンティティとその空間的関係を符号化するベクトル値ニューロン（カプセル）の使用を含む。
• 予測と変換の間の一致に基づいてカプセル活性を動的にルーティングする「同意によるルーティング」メカニズムを詳細に説明する。
• トランスフォーマーにおけるアテンション機構とカプセルネットワークを比較し、高次元ベクトル演算と同意に基づくフィルタリングといった共通の原則に焦点を当てる。
• 生成的カプセルネットワーク、幾何的カプセルネットワーク、トランスフォーマーやViTスタイルのパッチ処理と統合されたカプセルモジュールを組み合わせたハイブリッドモデルを含む、アーキテクチャの変種を調査する。
• プライマリーカプセルが低レベルの部分表現を学習する役割を分析し、最近の動きの手がかりを用いた部分定義の向上に関する進展を議論する。
• 動画理解、医療画像セグメンテーション、異常検出などの複数の分野におけるカプセルネットワークの性能と限界を評価する。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークは、部分-全体の階層的関係を明示的にモデル化することにより、標準的なCNNと比較して一般化性能とサンプルの複雑さをどのように向上させるか？
• RQ2 トランスフォーマーにおける自己アテンション機構とカプセルネットワークとの間には、一致フィルタリングと同意に基づくルーティングという観点で、どのような概念的・技術的類似性があるか？
• RQ3 現在のハードウェアおよびフレームワークの制限を考慮すると、カプセルネットワークは実世界のデプロイにまでスケーリング・最適化できるか？
• RQ4 カテゴリースロットを超えたより柔軟なスロット表現をカプセルネットワークがどのように拡張できるか、そしてその利点は何か？
• RQ5 カプセルネットワークは幾何的ディープラーニングにおいて、どのような役割を果たすか？特に2次元・3次元タスクにおける近似的な不変性とパフォーマンスの観点から検討する。

主な発見

• カプセルネットワークは、部分と全体の間の階層的関係を明示的にモデル化することで、より解釈可能で頑健なオブジェクト中心の表現を提供する有望な代替手段である。
• 同等のCNNと比較してパラメータ数やFLOPsが少ないにもかかわらず、PyTorch や TensorFlow などの標準的なディープラーニングフレームワークでは、現在のところ実行時間の性能が低く、メモリ効率が悪い。
• カプセルルーティングとトランスフォーマーにおけるアテンション機構との間に強い概念的リンクが存在する。特に、意味のある空間的または意味的関係を検出するために高次元ベクトルの一致を用いる点で類似している。
• カプセルネットワークは、動画オブジェクトセグメンテーション、アクション認識、脳腫瘍分類、ベアリングの故障診断など、多様な応用で成功を収め、特にサンプル効率の高い設定でベースラインモデルを上回ることが多い。
• カプセルネットワークのデプロイにおける主なボトルネックは、ルーティングとカプセル投票プロセスの計算コストであり、最近の最適化技術でさえも依然として非効率なままである。
• 今後の研究は、ViTスタイルのパッチベースのカプセルモデルのようなより効率的なアーキテクチャの開発、自己教師付きの動きの手がかりと3次元シーン理解を用いたプライマリーカプセル学習の向上に注力すべきである。