[논문 리뷰] Communication-Computation Trade-Off in Resource-Constrained Edge Inference

Jiawei Shao, Jun Zhang|arXiv (Cornell University)|2020. 06. 03.

IoT and Edge/Fog Computing참고 문헌 17인용 수 6

한 줄 요약

이 논문은 자원이 제한된 엣지 AI 환경에서 통신-계산 트레이드오프를 최적화하는 장치-엣지 공동 추론을 위한 세 단계 프레임워크를 제안한다. 모델 분할 지점의 공동 선택, 점진적 프루닝을 통한 통신 인지 모델 압축, 작업 중심의 학습 기반 특징 인코딩을 적용함으로써, 기준 대비 종단 간 지연을 최대 50% 감소시킨다. 특히 대역폭이 낮은 조건(예: <40 KBps)에서 뛰어난 성능을 발휘한다.

ABSTRACT

The recent breakthrough in artificial intelligence (AI), especially deep neural networks (DNNs), has affected every branch of science and technology. Particularly, edge AI has been envisioned as a major application scenario to provide DNN-based services at edge devices. This article presents effective methods for edge inference at resource-constrained devices. It focuses on device-edge co-inference, assisted by an edge computing server, and investigates a critical trade-off among the computation cost of the on-device model and the communication cost of forwarding the intermediate feature to the edge server. A three-step framework is proposed for the effective inference: (1) model split point selection to determine the on-device model, (2) communication-aware model compression to reduce the on-device computation and the resulting communication overhead simultaneously, and (3) task-oriented encoding of the intermediate feature to further reduce the communication overhead. Experiments demonstrate that our proposed framework achieves a better trade-off and significantly reduces the inference latency than baseline methods.

연구 동기 및 목표

• 자원이 제한된 엣지 AI 추론 환경에서 현장에서의 계산과 통신 오버헤드 사이의 핵심 트레이드오프를 해결한다.
• 순수한 현장에서의 추론(제한된 자원으로 인한 낮은 정확도)과 서버 기반 추론(고지연 및 개인정보 문제)의 한계를 극복한다.
• 종단 간 추론 지연을 최소화하기 위해 모델 분할, 압축, 특징 인코딩을 공동으로 최적화하는 일반적인 프레임워크를 개발한다.
• 낮은 대역폭 또는 노이즈가 많은 채널과 같은 열악한 통신 조건에서도 효과적으로 작동할 수 있도록 한다.
• 중간 단계의 특징이 입력 데이터보다 클 수 있는 데이터 증폭 현상에 대비해 지능적인 인코딩 및 압축 기법을 통해 이를 완화한다.

제안 방법

• 세 단계 프레임워크 도입: (1) 장치와 엣지 서버 사이에 DNN을 나누는 모델 분할 지점 선택, (2) 통신 인지 모델 압축을 통한 점진적 네트워크 프루닝을 통한 현장에서의 계산 및 통신 부담 감소.
• 반복적인 마스크 적용과 가중치 복구를 통한 $l_2$-노름 기반 크기 프루닝을 적용하여 점진적으로 흐린도를 증가시키면서 압축된 모델의 피지컬 튜닝을 수행한다.
• 통신 오버헤드를 줄이기 위해 경량이며 학습 가능한 인코더-디코더 쌍을 도입하여 중간 특징을 인코딩하며, 딥 네트워크를 소스 코더로 활용한다.
• 추가적인 채널 인코딩 없이도 노이즈가 많은 채널에서 통신 비용을 추가로 최소화하기 위해 학습 기반 공동 소스-채널 인코딩(JSCC)을 통합한다.
• 기준 대비 성능 상한선으로 샤논 용량 한계를 가정하여 비교하며, 기준은 완벽한 채널 인코딩을 전제로 한다.
• 비효율적인 탐색을 통한 하이퍼파라미터(분할 지점, 흐린도 비율, 압축 비율) 최적화를 오프라인 튜닝 단계에서 수행하지만, 향후 RL 기반 자동화를 제안한다.

실험 결과

연구 질문

• RQ1 자원이 제한된 엣지 디바이스에서 장치-엣지 공동 추론 환경에서 통신-계산 트레이드오프를 효과적으로 균형 잡을 수 있는 방법은 무엇인가?
• RQ2 통신 인지 모델 압축을 통해 현장에서의 계산과 통신 오버헤드를 동시에 줄일 수 있는 정도는 어느 정도인가?
• RQ3 특히 노이즈가 많거나 대역폭이 낮은 채널 조건에서 학습 기반 특징 인코딩, 특히 공동 소스-채널 인코딩(JSCC)이 통신 오버헤드를 크게 줄일 수 있는가?
• RQ4 낮은 대역폭 조건(예: <40 KBps)에서 제안된 프레임워크는 기준 방법 대비 어떻게 성능을 발휘하는가?
• RQ5 중간 단계의 특징이 입력 데이터보다 클 수 있는 데이터 증폭 현상이 종단 간 지연에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 프레임워크는 기준 방법 대비 종단 간 추론 지연을 최대 50% 감소시킨다. 특히 고지연 또는 낮은 대역폭 조건에서 뛰어난 성능을 발휘한다.
• 낮은 대역폭 환경(예: <40 KBps)에서 이 방법은 추론 지연을 약 0.1초 내외로 유지하지만, 기준 방법은 지연이 급격히 증가하는 경향을 보인다.
• 학습 기반 JSCC는 최적의 소스 인코딩에 더해 완벽한 채널 인코딩을 사용한 경우와 비교해 통신 오버헤드를 약간 낮거나 유사 수준으로 줄여주며, 입력 데이터나 원본 특징 전송 방식보다 뛰어난 성능을 보인다.
• 압축과 인코딩을 조합함으로써 중간 특징이 입력 데이터보다 클 수 있는 데이터 증폭 현상을 효과적으로 완화한다.
• 전통적 접근 방식보다 인코딩/디코딩 복잡도가 낮지만 높은 성능을 유지함으로써, 실시간 엣지 응용 분야에서의 잠재력을 입증한다.
• 분할 지점 조정의 유연성 덕분에 통신이 제한된 환경에서도 다양한 엣지 환경에서 견고한 성능을 발휘한다.