[論文レビュー] CapProNet: Deep Feature Learning via Orthogonal Projections onto Capsule Subspaces

Liheng Zhang, Marzieh Edraki+1 more|arXiv (Cornell University)|May 19, 2018

Advanced Neural Network Applications参考文献 13被引用数 38

ひとこと要約

CapProNetは、入力特徴を学習された直交キャプセル部分空間に投影することで特徴表現を向上させる、深層学習の新規フレームワークを導入している。分類にはキャプセル長を用いる。CIFARおよびSVHNのベンチマークにおいて最先端の性能を達成し、計算コストの増加が最小限であるにもかかわらず、ResNet より10–20%、DenseNet より5–7%のテスト誤差低減を実現した。

ABSTRACT

In this paper, we formalize the idea behind capsule nets of using a capsule vector rather than a neuron activation to predict the label of samples. To this end, we propose to learn a group of capsule subspaces onto which an input feature vector is projected. Then the lengths of resultant capsules are used to score the probability of belonging to different classes. We train such a Capsule Projection Network (CapProNet) by learning an orthogonal projection matrix for each capsule subspace, and show that each capsule subspace is updated until it contains input feature vectors corresponding to the associated class. We will also show that the capsule projection can be viewed as normalizing the multiple columns of the weight matrix simultaneously to form an orthogonal basis, which makes it more effective in incorporating novel components of input features to update capsule representations. In other words, the capsule projection can be viewed as a multi-dimensional weight normalization in capsule subspaces, where the conventional weight normalization is simply a special case of the capsule projection onto 1D lines. Only a small negligible computing overhead is incurred to train the network in low-dimensional capsule subspaces or through an alternative hyper-power iteration to estimate the normalization matrix. Experiment results on image datasets show the presented model can greatly improve the performance of the state-of-the-art ResNet backbones by $10-20\%$ and that of the Densenet by $5-7\%$ respectively at the same level of computing and memory expenses. The CapProNet establishes the competitive state-of-the-art performance for the family of capsule nets by significantly reducing test errors on the benchmark datasets.

研究の動機と目的

• 分類のためにニューロン活性化の代わりに、キャプセル部分空間への直交射影を用いることで、キャプセルネットワークを形式化・改善すること。
• 構造的革新がなされているにもかかわらず、既存のキャプセルネットワークにおける性能向上の限界を解消すること。
• キャプセル射影（単なるニューロンのグループ化ではなく）が顕著な性能向上をもたらすことを示すこと。
• キャプセル射影機構が、計算コストおよびメモリコストを最小限に抑えつつ、効果的なエンドツーエンド学習を可能にすること。

提案手法

• モデルは、各クラスごとに直交射影行列を学習し、入力特徴ベクトルをクラス固有のキャプセル部分空間に射影する。
• 入力特徴は、部分空間への射影成分（キャプセル成分）と、部分空間に直交する補完成分に直交的に分解される。
• 射影から得られるキャプセル長が、クラス存在のスコアとして用いられ、方向性はポーズやスケールなどのインスタンシエーションパラメータを符号化する。
• 補完成分を介した勾配を活用することで、バックプロパゲーションにより射影行列を更新し、キャプセル部分空間を段階的に最適化する。
• 部分空間が1次元の場合に標準的な重み正則化が得られる特殊ケースとして、重み正則化を一般化し、多次元直交基底学習へと拡張する。
• 計算コストを最小限に抑えるために、効率的なハイパーパowerイテレーションを用いて正規化行列を推定する。

実験結果

リサーチクエスチョン

• RQ1 標準的なキャプセル層や全結合層と比較して、学習されたキャプセル部分空間への直交射影が、深層ネットワークの分類精度を顕著に向上させるか？
• RQ2 単なるニューロングループ化と比較して、キャプセル射影機構が外観の変化に対してより優れた不変性を提供するか？
• RQ3 計算効率を含めた精度の観点から、ResNet や DenseNet といった最先端のバックボーンと比較して、本手法はどのように差をつけるか？
• RQ4 キャプセル部分空間の直交構造が、収束速度の向上および一般化性能の向上にどの程度寄与するか？
• RQ5 本手法のキャプセル射影は、顕著なオーバーヘッドを伴わず、既存のネットワークアーキテクチャにスムーズに統合可能か？

主な発見

• 同じバックボーンを用いた場合、CIFAR10ではテスト誤差を10.3%から3.64%に、SVHNでは4.3%から1.54%に低減した。
• トレーニング時間の追加が1%未満で、メモリコストも最小限に抑えられる中、ResNet-110の精度を10–20%、DenseNetを5–6%向上させた。
• ニューロンをキャプセルにグループ化するだけの方法（GroupNeuron）では性能向上が得られず、本手法の成功には直交射影が不可欠であることが示された。
• キャプセル射影機構は、高次元の重み正則化と数学的に同等であり、標準的な重み正則化は1次元の特殊ケースである。
• 可視化により、正しく分類されたサンプルが、それぞれの部分空間に長いキャプセルに射影されることが確認され、キャプセル長が信頼できる分類指標であることが裏付けられた。
• 計算コストは無視できるほど低く、ResNet-110を用いたCIFAR10では1イテレーションあたり0.01秒未満であり、実世界の展開に実用的である。