[論文レビュー] The multi-lane capsule network (MLCN)

Vanderson Martins do Rosário, Edson Borin+1 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、並列で独立したランナーライン（各ランナーが結果の次元に寄与）を用い、ルーティングによる一致に基づく学習を行う、分離可能でリソース効率の良いCapsNetアーキテクチャ「マルチラン レン レン カプセルネットワーク（MLCN）」を提案する。MLCNは、Fashion-MNISTおよびCIFAR-10で元のCapsNetと同等の精度を達成するとともに、パrameter数を著しく削減し、同じハードウェア上での学習および推論が2倍以上高速化される。

ABSTRACT

We introduce Multi-Lane Capsule Networks (MLCN), which are a separable and resource efficient organization of Capsule Networks (CapsNet) that allows parallel processing, while achieving high accuracy at reduced cost. A MLCN is composed of a number of (distinct) parallel lanes, each contributing to a dimension of the result, trained using the routing-by-agreement organization of CapsNet. Our results indicate similar accuracy with a much reduced cost in number of parameters for the Fashion-MNIST and Cifar10 datsets. They also indicate that the MLCN outperforms the original CapsNet when using a proposed novel configuration for the lanes. MLCN also has faster training and inference times, being more than two-fold faster than the original CapsNet in the same accelerator.

研究の動機と目的

• 標準的なカプセルネットワーク（CapsNet）の実用的導入における高い計算コストおよびパrameterコストを軽減すること。
• 精度を損なわず、モデルの複雑さを増さずにCapsNetにおける並列処理を可能にすること。
• モデルサイズと推論時間を削減しながら、ベンチマークデータセットにおける性能を維持または向上させること。
• 効率性とスケーラビリティの向上を図るため、別個で独立した並列ランナーを用いた新しいアーキテクチャ構成を検討すること。

提案手法

• MLCNは、元のCapsNetを、最終出力の特定の次元に寄与する各々が独立した複数の並列ランナーに構成する。
• 各ランナーは入力特徴を独立して処理し、ルーティングによる一致メカニズムを用いて動的ルーティングの意思決定を生成する。
• 最終出力は、すべてのランナーからの寄与を統合することで形成され、元のCapsNetの注目ベースのルーティングを保持する。
• アーキテクチャは分離可能に設計されており、ランナーの独立した最適化と並列処理が可能となり、効率性が向上する。
• パフォーマンス向上とパrameter数の削減を図るため、ランナーの配置に関する新しい構成が導入される。
• ランナー間の並列処理とパrameter数の削減により、学習および推論が高速化される。

実験結果

リサーチクエスチョン

• RQ1 高精度を維持しつつ計算コストを低減できるように、並列処理が可能なカプセルネットワークアーキテクチャを設計することは可能か？
• RQ2 標準ベンチマーク上で、MLCNの精度、パrameter数、推論速度について、元のCapsNetと比較してどのように異なるか？
• RQ3 提案されたランナー構成が、モデルの効率性および学習ダイナミクスに与える影響は何か？
• RQ4 MLCNは、Fashion-MNISTおよびCIFAR-10において分類精度を損なわずに、どの程度モデルパラメータ数を削減できるか？

主な発見

• MLCNは、Fashion-MNISTおよびCIFAR-10の両データセットで、元のCapsNetと同等の分類精度を達成する。
• 標準的なCapsNetと比較して、パrameter数を著しく削減し、パrameter効率が向上する。
• MLCNは、同じアクセラレータ上で元のCapsNetよりも2倍以上高速な学習および推論時間を実現する。
• 提案されたランナー構成により、MLCNは元のCapsNetを効率性と速度面で上回りつつ、競争力のある精度を維持する。
• 並列ランナー構造により、スケーラブルかつ分離可能な処理が可能となり、リソース制限のある環境への展開に適している。