[논문 리뷰] DeepReDuce: ReLU Reduction for Fast Private Inference

Nandan Kumar Jha, Zahra Ghodsi외 2명|arXiv (Cornell University)|2021. 03. 02.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 20

한 줄 요약

DeepReDuce는 신경망에서 비판적이지 않은 ReLU 유닛을 선택적으로 제거함으로써 사생활 보장 추론 지연을 극적으로 감소시키면서 정확도를 유지하는 새로운 ReLU 제거 기법을 제안한다. 비판적이지 않은 ReLU 유닛을 식별하고 지식 증착과 결합함으로써 DeepReDuce는 동일 정확도에서 ReLU 수를 3.5배 줄였으며, 동일 ReLU 수에서 최대 3.5%의 정확도 향상을 달성하여 CIFAR-100과 TinyImageNet에서 최신 기법들을 능가한다.

ABSTRACT

The recent rise of privacy concerns has led researchers to devise methods for private neural inference -- where inferences are made directly on encrypted data, never seeing inputs. The primary challenge facing private inference is that computing on encrypted data levies an impractically-high latency penalty, stemming mostly from non-linear operators like ReLU. Enabling practical and private inference requires new optimization methods that minimize network ReLU counts while preserving accuracy. This paper proposes DeepReDuce: a set of optimizations for the judicious removal of ReLUs to reduce private inference latency. The key insight is that not all ReLUs contribute equally to accuracy. We leverage this insight to drop, or remove, ReLUs from classic networks to significantly reduce inference latency and maintain high accuracy. Given a target network, DeepReDuce outputs a Pareto frontier of networks that tradeoff the number of ReLUs and accuracy. Compared to the state-of-the-art for private inference DeepReDuce improves accuracy and reduces ReLU count by up to 3.5% (iso-ReLU count) and 3.5$ imes$ (iso-accuracy), respectively.

연구 동기 및 목표

• 암호화된 계산에서 비용이 많이 드는 ReLU 연산으로 인해 발생하는 높은 추론 지연 문제를 해결하기 위해.
• 모델 정확도를 크게 떨어뜨리지 않으면서 신경망 내 ReLU 유닛 수를 줄이기 위해.
• 비판적이지 않은 ReLU 유닛을 체계적으로 식별하고 제거하여 사생활 보장 추론을 최적화하기 위한 방법을 개발하기 위해.
• 기존의 프루닝 및 네트워크 깊이 감소 기법과 비교해 사생활 보장 추론 환경에서 ReLU 제거가 더 우수한 성능을 보이는지 입증하기 위해.
• 실제 구현을 위해 ReLU 수와 정확도 간의 트레이드오프를 고려한 파레토 최적 경계를 생성하기 위해.

제안 방법

• 모델 정확도에 기여하는 바가 작은 ReLU 레이어를 기반으로 전체 ReLU 레이어를 제거하는 새로운 최적화 전략으로 ReLU 제거를 제안한다.
• 모델 성능에 대한 중요도 기반으로 ReLU를 순위 매기는 비중 지표를 사용하여 비판적이지 않은 ReLU를 선택적으로 제거할 수 있도록 한다.
• 정확도 유지 목적으로 ReLU 제거와 지식 증착을 결합한다.
• ReLU 제거 후 인접한 선형 레이어를 통합하여 FLOPs와 모델 깊이를 추가로 감소시킨다.
• ReLU 예산을 다양하게 조정하면서 정확도 트레이드오프를 보고함으로써 최적화된 모델의 파레토 경계를 생성한다.
• ResNet, MobileNetV1, VGG16 등 다양한 아키텍처에 대해 적용하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 ReLU 제거 기법이 사생활 보장 추론에서 높은 정확도를 유지하면서도 신경망 내 ReLU 수를 상당히 줄일 수 있는가?
• RQ2 채널 프루닝 및 네트워크 증착 기법과 비교해 ReLU 제거 기법이 ReLU 수 감소와 정확도 유지 측면에서 어떤가?
• RQ3 ReLU 제거 기법이 Residual 아키텍처가 아닌 MobileNetV1 및 VGG16와 같은 아키텍처에 효과적으로 적용될 수 있는가?
• RQ4 ReLU 제거와 지식 증착을 결합했을 때 모델 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 DeepReDuce는 다양한 네트워크 아키텍처에서 ReLU 수와 정확도 간의 균형을 고려한 파레토 최적 모델 경계를 생성할 수 있는가?

주요 결과

• CIFAR-100에서 DeepReDuce는 동일한 ReLU 수에서 최신 기법보다 최대 3.5% 높은 정확도를 달성한다.
• 동일 정확도 수준에서 최신 기법 대비 ReLU 수를 최대 3.5배 줄였다.
• CIFAR-100에서 가장 빠른 DeepReDuce 모델은 455ms의 추론 지연으로 65%의 Top-1 정확도를 기록했다.
• TinyImageNet에서 DeepReDuce는 4.6초의 추론 시간으로 59.18%의 Top-1 정확도를 달성하여 더 큰 데이터셋에 대한 확장성도 입증했다.
• 채널 프루닝 및 네트워크 증착 기법보다 2배 높은 ReLU 감소 효율성을 보였다.
• DeepReDuce는 Residual 네트워크를 초월해 잘 일반화되며, MobileNetV1에서 동일 ReLU 수에서 10.9%의 정확도 향상을, 동일 정확도에서 3.8배의 ReLU 감소를 달성했다.