[論文レビュー] X-TrainCaps: Accelerated Training of Capsule Nets through Lightweight Software Optimizations.

Alberto Marchisio, Beatrice Bussolino+5 more|arXiv (Cornell University)|May 24, 2019

Advanced Neural Network Applications参考文献 21被引用数 4

ひとこと要約

X-TrainCaps は、軽量なソフトウェア最適化、特に新しい学習率ポリシー（WarmAdaBatch）と重み共有を用いて、キャプセルネットワークの学習を高速化する。元の CapsNet よりも 58.6% 速く学習が可能であり、同時に精度も 0.9% 向上させ、速度と性能のパレート最適なトレードオフを実現している。

ABSTRACT

Convolutional Neural Networks (CNNs) are extensively in use due to their excellent results in various machine learning (ML) tasks like image classification and object detection. Recently, Capsule Networks (CapsNets) have shown improved performances compared to the traditional CNNs, by encoding and preserving spatial relationships between the detected features in a better way. This is achieved through the so-called Capsules (i.e., groups of neurons) that encode both the instantiation probability and the spatial information. However, one of the major hurdles in the wide adoption of CapsNets is its gigantic training time, which is primarily due to the relatively higher complexity of its constituting elements. In this paper, we illustrate how can we devise new optimizations in the training process to achieve fast training of CapsNets, and if such optimizations affect the network accuracy or not. Towards this, we propose a novel framework that employs lightweight software-level optimizations, including a novel learning rate policy called WarmAdaBatch that jointly performs warm restarts and adaptive batch size, as well as weight sharing for capsule layers to reduce the hardware requirements of CapsNets by removing unused/redundant connections and capsules, while keeping high accuracy through tests of different learning rate policies and batch sizes. We demonstrate that one of the solutions generated by X-TrainCaps framework can achieve 58.6% training time reduction while preserving the accuracy (even 0.9% accuracy improvement), compared to the CapsNet in the original paper by Sabour et al. (2017), while other Pareto-optimal solutions can be leveraged to realize trade-offs between training time and achieved accuracy.

研究の動機と目的

• キャプセルネットワークの学習にかかる時間が非常に長いため、広範な採用を妨げるという問題に対処する。
• 重み共有による不要な接続やキャプセルの削除によって、CapsNets のハードウェアリソース要件を低減する。
• 知的なハイパーパramータスケジューリングにより、高速化された学習でもモデルの精度を維持または向上させる。
• パレート最適なソリューションを用いて、学習速度とモデル精度の間の効率的で妥当なトレードオフを探索する。
• 既存の CapsNet アーキテクチャと互換性があり、軽量なソフトウェアレベルの最適化フレームワークを構築する。

提案手法

• 学習の途中でバッチサイズを適応的に調整し、再起動を組み合わせた、新しい学習率ポリシーである WarmAdaBatch を導入する。
• キャプセル層における重み共有を実装し、使用されないまたは冗長な接続やキャプセルを削除することで、計算オーバーヘッドを低減する。
• 速度と精度のトレードオフを評価するために、さまざまな学習率ポリシーとバッチサイズを用いた体系的なアブレーションスタディを実施する。
• コアの CapsNet アーキテクチャを変更せずに、これらの最適化を学習パイプラインに統合するフレームワークを設計する。
• パレート最適化を用いて、速度と精度の両立を図る複数の効率的で最適な学習設定を同定する。
• 標準ベンチマークを用いてフレームワークを評価し、学習時間の短縮と精度の維持を測定する。

実験結果

リサーチクエスチョン

• RQ1 軽量なソフトウェア最適化は、精度を損なわずキャプセルネットワークの学習時間を顕著に短縮できるか？
• RQ2 提案された WarmAdaBatch 学習率ポリシーは、標準的なスケジュールと比較して、収束速度と最終的な精度で優れているか？
• RQ3 キャプセル層における重み共有は、モデルの性能を維持したまま、どれほどハードウェア要件を低減できるか？
• RQ4 キャプセルネットワークの学習において、学習時間と精度の間のパレート最適なトレードオフはどのようなものか？
• RQ5 適応的バッチサイズとウォームリスタートの組み合わせは、収束の高速化とより良い一般化性能をもたらすか？

主な発見

• X-TrainCaps は、Sabour 他 (2017) の元の CapsNet よりも 58.6% 学習時間を短縮した。
• 最適化されたモデルは、元の CapsNet よりもテスト精度が 0.9% 向上しており、一般化性能の向上を示している。
• フレームワークは複数のパレート最適解を同定し、ユーザーがニーズに応じて速度と精度のバランスをとれる設定を選択可能にした。
• 重み共有は、キャプセル層内のパラメータ数と計算量を効果的に削減し、ハードウェア要件を低減した。
• WarmAdaBatch は、バッチサイズを動的に調整し、再起動を行うことで収束を加速させる点で、標準的な学習率スケジュールを上回った。
• これらの最適化は、さまざまなハイパーパramータ設定において有効であり、堅牢性と一般化可能性を示した。