[논문 리뷰] X-TrainCaps: Accelerated Training of Capsule Nets through Lightweight Software Optimizations.

Alberto Marchisio, Beatrice Bussolino외 5명|arXiv (Cornell University)|2019. 05. 24.

Advanced Neural Network Applications참고 문헌 21인용 수 4

한 줄 요약

X-TrainCaps는 경량 소프트웨어 최적화를 통해 캡슐 네트워크 학습을 가속화한다. 이는 새로운 학습률 정책(워밍아다배치)과 가중치 공유를 포함하여 중복 연결을 줄인다. 원래 CapsNet 대비 58.6% 더 빠른 학습을 달성하면서 정확도는 0.9% 향상시키며, 속도와 성능 간 파레토 최적의 트레이드오프를 이룬다.

ABSTRACT

Convolutional Neural Networks (CNNs) are extensively in use due to their excellent results in various machine learning (ML) tasks like image classification and object detection. Recently, Capsule Networks (CapsNets) have shown improved performances compared to the traditional CNNs, by encoding and preserving spatial relationships between the detected features in a better way. This is achieved through the so-called Capsules (i.e., groups of neurons) that encode both the instantiation probability and the spatial information. However, one of the major hurdles in the wide adoption of CapsNets is its gigantic training time, which is primarily due to the relatively higher complexity of its constituting elements. In this paper, we illustrate how can we devise new optimizations in the training process to achieve fast training of CapsNets, and if such optimizations affect the network accuracy or not. Towards this, we propose a novel framework that employs lightweight software-level optimizations, including a novel learning rate policy called WarmAdaBatch that jointly performs warm restarts and adaptive batch size, as well as weight sharing for capsule layers to reduce the hardware requirements of CapsNets by removing unused/redundant connections and capsules, while keeping high accuracy through tests of different learning rate policies and batch sizes. We demonstrate that one of the solutions generated by X-TrainCaps framework can achieve 58.6% training time reduction while preserving the accuracy (even 0.9% accuracy improvement), compared to the CapsNet in the original paper by Sabour et al. (2017), while other Pareto-optimal solutions can be leveraged to realize trade-offs between training time and achieved accuracy.

연구 동기 및 목표

• 캡슐 네트워크의 금방이 긴 학습 시간을 해결함으로써, 이들의 광범위한 도입을 가로막는 주요 장애를 제거한다.
• 가중치 공유를 통해 불필요하거나 중복된 연결과 캡슐을 제거하여 캡슐 네트워크의 하드웨어 자원 요구량을 감소시킨다.
• 지능적인 하이퍼파rameter 스케줄링을 통해 가속화된 학습 동안 정확도를 유지하거나 향상시킨다.
• 파레토 최적의 해를 활용하여 학습 속도와 모델 정확도 간의 효율적인 트레이드오프를 탐색한다.
• 기존 CapsNet 아키텍처와 호환되며 경량인 소프트웨어 수준 최적화 프레임워크를 개발한다.

제안 방법

• 학습 중에 온도 조절 재시작과 적응형 배치 크기 조정을 조합한 새로운 학습률 정책인 웜아다배치를 도입한다.
• 캡슐 레이어에 가중치 공유를 구현하여 사용되지 않거나 중복된 연결과 캡슐을 제거하고 계산 오버헤드를 감소시킨다.
• 속도와 정확도 간의 트레이드오프를 평가하기 위해 다양한 학습률 정책과 배치 크기에서 체계적인 아블레이션 연구를 수행한다.
• 핵심 CapsNet 아키텍처를 수정하지 않고도 이러한 최적화를 학습 파이프라인에 통합할 수 있는 프레임워크를 설계한다.
• 파레토 최적화를 활용하여 속도와 정확도를 균형 잡는 여러 효율적인 학습 설정을 식별한다.
• 표준 벤치마크에서 프레임워크를 평가하여 학습 시간 단축과 정확도 유지 정도를 측정한다.

실험 결과

연구 질문

• RQ1 경량 소프트웨어 최적화가 정확도를 떨어뜨리지 않고 캡슐 네트워크 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 제안된 웜아다배치 학습률 정책은 표준 스케줄링 대비 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ3 캡슐 레이어에서의 가중치 공유가 모델 성능을 유지하면서 하드웨어 요구량을 어느 정도 감소시킬 수 있는가?
• RQ4 캡슐 네트워크 학습에서 학습 시간과 정확도 간의 파레토 최적 트레이드오프는 무엇인가?
• RQ5 적응형 배치 크기와 온도 조절 재시작의 조합이 더 빠른 수렴과 더 나은 일반화를 이끌어내는가?

주요 결과

• X-TrainCaps는 사부르 등(2017)의 원래 CapsNet 대비 학습 시간을 58.6% 단축시켰다.
• 최적화된 모델은 원래 CapsNet 대비 테스트 정확도를 0.9% 향상시켜 일반화 능력 향상을 시사한다.
• 프레임워크는 다수의 파레토 최적 해를 식별하여 사용자가 필요에 따라 속도와 정확도를 균형 잡는 설정을 선택할 수 있도록 한다.
• 가중치 공유를 통해 캡슐 레이어 내의 파라미터 수와 계산량을 효과적으로 줄여 하드웨어 요구량을 낮춘다.
• 웜아다배치는 동적으로 배치 크기를 조정하고 학습을 재시작하는 방식으로 표준 학습률 스케줄링보다 수렴 속도를 빠르게 하여 우수한 성능을 보인다.
• 최적화는 다양한 하이퍼파rameter 설정에서 효과적이며, 이는 강건성과 일반화 능력을 입증한다.