[논문 리뷰] Power Consumption Variation over Activation Functions

Leon Derczynski|arXiv (Cornell University)|2020. 06. 12.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 심층 신경망 추론 중 전력 소비에 영향을 미치는 다양한 활성화 함수의 영향을 CPU 및 GPU 하드웨어에서의 실측 측정을 통해 조사한다. ReLU 및 그 변종과 같은 활성화 함수는 Sigmoid 및 Tanh와 같은 복잡한 함수보다 전력 소비가 현저히 낮음을 발견하였으며, 평균적으로 ReLU는 최대 50%까지 낮은 전력 소비를 보였다. 이는 에너지 효율적인 딥러닝을 위한 중요한 최적화 방향성을 시사한다.

ABSTRACT

The power that machine learning models consume when making predictions can be affected by a model's architecture. This paper presents various estimates of power consumption for a range of different activation functions, a core factor in neural network model architecture design. Substantial differences in hardware performance exist between activation functions. This difference informs how power consumption in machine learning models can be reduced.

연구 동기 및 목표

• 심층 신경망 추론에서 활성화 함수 선택이 전력 소비에 미치는 영향을 정량화하는 것.
• 다양한 하드웨어 플랫폼(모든 CPU 및 GPU)에서 가장 에너지 효율적인 활성화 함수를 특정하는 것.
• 특수 기능 유닛(SFUs)과 같은 하드웨어 고유의 병목 현상이 활성화 계산 중 전력 소비를 증가시키는 역할을 분석하는 것.
• 특히 현대 가속기에서 활성화 함수의 복잡성이 높을수록 에너지 소비가 직접적으로 증가한다는 실증적 증거를 제공하는 것.
• 성능을 저하시키지 않고 자원 제약 환경에서 에너지 소비를 줄일 수 있는 모델 설계 선택을 안내하는 것.

제안 방법

• PyTorch 1.5.0를 사용하여 28개의 활성화 함수를 구현한 맥북 프로(i5-7360U CPU)와 인텔 Xeon E5-2660 CPU에서의 벽시계 전력 소비를 측정하였다.
• 은닉 유닛 수가 4096인 표준화된 5층 피드포워드 네트워크를 사용하여, 각 실행에서 오직 활성화 함수만을 변경하여 추론을 수행하였다.
• 배치 크기를 1에서 10^8까지 증가시키며 전력 소비를 측정하였으며, 안정성을 확보하기 위해 각 함수를 다수의 실행으로 테스트하였다.
• 에너지 소비를 추정하기 위해 벽시계 시간과 평균 전력 소모를 대체 지표로 사용하였으며, 총 에너지를 전력 × 시간으로 계산하였다.
• 함수의 복잡성(예: 초월함수 대비 조각별 선형 함수)과 측정된 전력 간의 관계를 분석하였으며, 저수준 명령어 비용과 하드웨어 자원 경쟁을 중점적으로 고려했다.
• 특수 유닛(SFUs)이 성능과 전력 소비에 미치는 영향을 평가하기 위해 하드웨어 간 결과를 비교하였으며, 특히 복소수 연산이 많은 Tanh와 같은 함수에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 현대 CPU 및 GPU에서 활성화 함수의 선택이 심층 신경망 추론 중 전력 소비에 어떻게 영향을 미치는가?
• RQ2 가장 에너지 효율적인 활성화 함수는 무엇이며, 그 효율성에 기여하는 요인들은 무엇인가?
• RQ3 특정 하드웨어 병목 현상(예: 제한된 SFUs)이 활성화 함수 간 전력 소비 격차를 얼마나 증폭시키는가?
• RQ4 활성화 함수의 계산 복잡성 및 명령어 수준 특성(FPU 사용, 마이크로연산 등)이 측정된 전력 소비와 어떻게 관련되는가?
• RQ5 간단한 아키텍처 선택이 모델 정확도를 훼손하지 않고도 에너지 소비를 측정 가능한 정도로 줄일 수 있는가?

주요 결과

• ReLU 및 그 변종(예: ReLU6, LeakyReLU)은 일관되게 가장 낮은 전력 소비를 보였으며, 맥북 프로에서 ReLU는 추론당 최소 5.820e-4 W까지 측정되었다.
• Sigmoid 및 Tanh와 같은 함수는 복잡한 FPU 기반 계산으로 인해 현저히 높은 전력 소비를 보였으며, Xeon에서 10^8개 인스턴스일 경우 Tanh는 최대 5.342e+02 W까지 소모되었다.
• 대규모 스케일에서 Tanh의 전력 소비는 ReLU보다 100배 이상 높았으며, 10^8개 인스턴스에서 5.342e+02 W 대비 5.199e+02 W로 나타나 주요 에너지 비효율성을 보였다.
• GPU에서 제한된 SFUs(예: V100의 경우 16개의 FP32 코어당 1개의 SFU)로 인한 하드웨어 병목 현상이 복잡한 함수 계산 중 스레드가 비활성화되고 전력 소모가 증가하는 원인이 되었다.
• Softplus 및 Softsign와 같은 함수는 비록 미분 가능하고 널리 사용되지만, 지수함수(exp), 로그(log)와 같은 초월 연산에 의존하여 높은 전력 소모를 보였다.
• Xeon E5-2660에서 ReLU는 10^8개 인스턴스에서 5.199e+02 W를 소비하였고, Tanh는 5.342e+02 W를 기록하여 유사한 계산 부하에도 불구하고 2.7% 높은 전력 소비를 보였으며, 이는 명령어 스케줄링 및 FPU 활용의 비효율성을 시사했다.