[논문 리뷰] Conditional Computation in Neural Networks for faster models

Emmanuel Bengio, Pierre‐Luc Bacon외 2명|arXiv (Cornell University)|2015. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 151

한 줄 요약

이 논문은 딥 네ural 네트워크에서 입력에 따라 달라지는 희박한 활성화 정책을 학습하기 위한 강화학습 기반 방법을 제안한다. 이는 관련 네트워크 유닛만 선택적으로 활성화함으로써 추론 속도를 향상시킨다. 예측 오차를 최소화하고 활성화된 유닛 수를 줄이는 이중 목적을 가진 REINFORCE를 사용하여, 표준 네트워크와 비교해 유사한 정확도를 달성하면서도 CPU 기반 추론에서 계산 효율성을 크게 향상시킨다.

ABSTRACT

Deep learning has become the state-of-art tool in many applications, but the evaluation and training of deep models can be time-consuming and computationally expensive. The conditional computation approach has been proposed to tackle this problem (Bengio et al., 2013; Davis & Arel, 2013). It operates by selectively activating only parts of the network at a time. In this paper, we use reinforcement learning as a tool to optimize conditional computation policies. More specifically, we cast the problem of learning activation-dependent policies for dropping out blocks of units as a reinforcement learning problem. We propose a learning scheme motivated by computation speed, capturing the idea of wanting to have parsimonious activations while maintaining prediction accuracy. We apply a policy gradient algorithm for learning policies that optimize this loss function and propose a regularization mechanism that encourages diversification of the dropout policy. We present encouraging empirical results showing that this approach improves the speed of computation without impacting the quality of the approximation.

연구 동기 및 목표

• 딥 네럴 네트워크 추론과 학습의 높은 계산 비용을 해결하기 위해.
• 정확도를 훼손하지 않으면서 계산을 줄이는 입력에 따라 달라지는 희박한 활성화 정책을 학습하는 방법을 개발하기 위해.
• 조건부 계산을 강화학습 문제로 재정의하여 예측 성능과 계산 효율성을 동시에 최적화하기 위해.
• 입력 간에 다양한, 상호 중복되지 않는 유닛 활성화 패턴을 유도하는 정규화 메커니즘을 도입하기 위해.

제안 방법

• 조건부 계산을 마르코프 결정 과정(MDP)으로 공식화하여, 행동은 네트워크 유닛에 대한 베르누이 마스크가 된다.
• 입력에 따라 각 레이어의 활성화 확률을 계산하기 위해 시그모이드-베르누이 정책 네트워크를 사용하며, 이는 이전 레이어의 활성화에 대한 선형 변환으로 매개변수화된다.
• 복합 보상 신호를 사용하여 예측 정확도와 희박성 둘 다를 동시에 최적화하기 위해 REINFORCE 정책 그래เดียน트 알고리즘을 적용한다.
• 활성화된 유닛 간의 공액을 방지하기 위해, 드롭아웃 정책의 다양성을 증진하는 정규화 항을 도입한다.
• 정책 그래디언트를 통해 역전파를 사용하여 메인 네트워크와 함께 정책 네트워크를 엔드 투 엔드로 훈련한다.
• 저전력 장치에 대한 실질적 구현 가능성을 평가하기 위해 단일 코어 CPU 환경을 사용한다.

실험 결과

연구 질문

• RQ1 강화학습이 딥 네럴 네트워크에서 계산을 줄이는 입력에 따라 달라지는 희박한 활성화 정책을 효과적으로 학습할 수 있는가?
• RQ2 이러한 정책은 추론 속도를 향상시키는 데서 정확도를 얼마나 잘 유지할 수 있는가?
• RQ3 제안된 정규화 메커니즘은 조건부 계산 정책의 다양성과 강건성을 어떻게 향상시키는가?
• RQ4 REINFORCE와 같은 정책 그래디언트 방법을 사용해 이 방법을 효율적으로 훈련시킬 수 있는가?
• RQ5 실제 CPU 기반 추론 환경에서 정확도와 계산 효율성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 표준 딥 네트워크와 유사한 테스트 정확도를 달성하여, 희박성으로 인한 성능 저하가 없음을 입증한다.
• 단일 코어 CPU에서 추론 시간에 있어 상당한 속도 향상을 달성하였으며, 밀도 있는 네트워크에 비해 보고된 실행 시간이 크게 감소하였다.
• 정규화 메커니즘이 성공적으로 다양한 활성화 패턴을 유도하여 중복을 줄이고 희박한 계산 정책의 일반화 능력을 향상시켰다.
• REINFORCE의 사용은 비가역적 마스크가 존재하는 상황에서도 조건부 계산 정책의 효과적인 훈련을 가능하게 하였다.
• 희박성 제어를 위한 단일 하이퍼파rameter를 통해 정확도와 속도 사이의 조절 가능한 트레이드오프를 허용한다.
• 이 방법은 계산 효율성이 핵심적인 저전력 단일 코어 장치, 예를 들어 스마트폰과 같은 환경에 배포할 때 특히 효과적이다.