[論文レビュー] Fast Dynamic Routing Based on Weighted Kernel Density Estimation

Suofei Zhang, Wei Zhao+2 more|arXiv (Cornell University)|May 28, 2018

Advanced Neural Network Applications参考文献 16被引用数 9

ひとこと要約

本論文は、計算コストを低減するために重み付きカーネル密度推定（KDE）を用いた2つの高速な動的ルーティング手法を提案する。ルーティングを最適化されたカーネル関数と距離尺度を用いたKDEに基づくクラスタリング問題に再定式化することで、精度の低下をほとんど認めないまま約40％の高速化を達成し、ハイブリッドCNN-カプセルネットワークにおける高解像度画像処理を効率的に行える。

ABSTRACT

Capsules as well as dynamic routing between them are most recently proposed structures for deep neural networks. A capsule groups data into vectors or matrices as poses rather than conventional scalars to represent specific properties of target instance. Besides of pose, a capsule should be attached with a probability (often denoted as activation) for its presence. The dynamic routing helps capsules achieve more generalization capacity with many fewer model parameters. However, the bottleneck that prevents widespread applications of capsule is the expense of computation during routing. To address this problem, we generalize existing routing methods within the framework of weighted kernel density estimation, and propose two fast routing methods with different optimization strategies. Our methods prompt the time efficiency of routing by nearly 40\% with negligible performance degradation. By stacking a hybrid of convolutional layers and capsule layers, we construct a network architecture to handle inputs at a resolution of $64 imes{64}$ pixels. The proposed models achieve a parallel performance with other leading methods in multiple benchmarks.

研究の動機と目的

• 大規模な視覚タスクにおけるカプセルネットワークの動的ルーティングの高い計算コストを低減すること。
• パラメータフリーなクラスタリング問題としての再考により、モデル性能を損なわず推論効率を向上させること。
• バックプロパゲーションと互換性があり、畳み込み層とカプセル層を組み合わせたハイブリッドアーキテクチャに適した簡素化されたルーティング手法を開発すること。
• ルーティングの複雑さを低減することで、64×64ピクセルなどの高解像度画像へのカプセルネットワークの実用的導入を可能にすること。

提案手法

• カプセルの活性化とポーズをD次元空間内のデータポイントとしてモデル化し、動的ルーティングを重み付きカーネル密度推定（KDE）問題に再定式化する。
• 2つのルーティング変種を提案する：FRMS（Mean Shiftを用いた高速ルーティング）とFREM（EMを用いた高速ルーティング）、両者ともKDEを用いてクラスタ密度を推定する。
• 効率性と安定性を向上させるために、EpanechnikovおよびGaussianカーネル関数と、コサイン類似度に基づく距離尺度を用いる。
• アテンションに類似したルーティング重みを活用するソフトマックスベースのルーティング更新ルールを導入し、反復的同意メカニズムを1回の最適化ステップに置き換える。
• 畳み込み層とカプセル層を組み合わせたエンドツーエンド学習を可能にするハイブリッドネットワークアーキテクチャに、提案されたルーティング手法を統合する。
• 反復的ルーティングによる同意をKDE駆動のクラスタリングフレームワークに置き換えることで、計算量を削減しつつ表現力の保持を実現する。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークにおける動的ルーティングは、カーネル密度推定を用いて非パrametricクラスタリング問題に再定式化可能か？
• RQ2 カーネル密度推定は、性能を維持しつつ、カプセルルーティングにおける計算コストをどのように低減できるか？
• RQ3 異なるカーネル関数と距離尺度が、ルーティングの効率性と精度に与える影響は何か？
• RQ4 簡素化されたルーティング手法は、高解像度画像認識に適したハイブリッドCNN-カプセルネットワークに効果的に統合可能か？
• RQ5 モデルの一般化能力に顕著な劣化を来さずに、どの程度までルーティングの効率を向上できるか？

主な発見

• 提案されたFRMSおよびFREMルーティング手法は、標準的な動的ルーティングと比較して、ルーティングの計算時間をほぼ40％短縮し、性能の低下はほとんど認めない。
• KDEに基づくルーティングフレームワークにより、ハイブリッドCNN-カプセルアーキテクチャを用いて64×64ピクセル画像の効率的推論が可能となり、最先端の手法と同等の性能を達成した。
• Epanechnikovカーネルとコサイン類似度に基づく距離尺度を組み合わせたルーティング変種は、ルーティングによる同意に近く、理論的整合性の妥当性を裏付けた。
• FREM手法はEMルーティングの簡素化版ではあるが、EMルーティングと同等の性能を示し、対称的カーネルと簡素化された事前分布が効率的ルーティングに有効であることを示した。
• コサイン類似度を用いる変種には理論的収束の懸念があるが、実験的に畳み込み特徴抽出と組み合わせた場合、安定した学習が実現した。
• ハイブリッドアーキテクチャは優れた一般化性能とスケーラビリティを示し、高速ルーティングを備えたカプセルネットワークが大規模な視覚タスクに実用的である可能性を示唆した。