[논문 리뷰] Progressive Feature Transmission for Split Inference at the Wireless Edge

Qiao Lan, Qunsong Zeng외 3명|arXiv (Cornell University)|2021. 12. 14.

Distributed Sensor Networks and Detection Algorithms인용 수 7

한 줄 요약

이 논문은 무선 엣지 AI 시스템에서 효율적인 스플릿 인퍼런스를 위한 새로운 프로토콜인 프로그레시브 피처 전송(ProgressFTX)을 제안한다. 채널 상태와 신뢰도 임계값을 바탕으로 가장 분류에 유의미한 피처를 적응적으로 선택하고, 전송을 동적으로 종료함으로써 기존의 피처 프루닝 및 무작위 전송 방식에 비해 통신 지연을 최대 60% 감소시킨다. 특히 fading 채널과 고차원 피처 부하 조건에서 뛰어난 성능을 발휘한다.

ABSTRACT

In edge inference, an edge server provides remote-inference services to edge devices. This requires the edge devices to upload high-dimensional features of data samples over resource-constrained wireless channels, which creates a communication bottleneck. The conventional solution of feature pruning requires that the device has access to the inference model, which is unavailable in the current scenario of split inference. To address this issue, we propose the progressive feature transmission (ProgressFTX) protocol, which minimizes the overhead by progressively transmitting features until a target confidence level is reached. The optimal control policy of the protocol to accelerate inference is derived and it comprises two key operations. The first is importance-aware feature selection at the server, for which it is shown to be optimal to select the most important features, characterized by the largest discriminant gains of the corresponding feature dimensions. The second is transmission-termination control by the server for which the optimal policy is shown to exhibit a threshold structure. Specifically, the transmission is stopped when the incremental uncertainty reduction by further feature transmission is outweighed by its communication cost. The indices of the selected features and transmission decision are fed back to the device in each slot. The optimal policy is first derived for the tractable case of linear classification and then extended to the more complex case of classification using a convolutional neural network. Both Gaussian and fading channels are considered. Experimental results are obtained for both a statistical data model and a real dataset. It is seen that ProgressFTX can substantially reduce the communication latency compared to conventional feature pruning and random feature transmission.

연구 동기 및 목표

• 자원이 제한된 무선 채널을 통해 고차원 피처 전송으로 인해 발생하는 엣지 인퍼런스의 통신 병목 현상을 해결한다.
• 스플릿 인퍼런스 환경에서는 사용할 수 없지만 기존 피처 프루닝 기법은 인퍼런스 모델에 대한 액세스가 필요하므로 이에 기인한 한계를 극복한다.
• 시간에 따라 변하는 채널 조건에 동적으로 적응하고 최소한의 전송 오버헤드로 높은 인퍼런스 신뢰도를 달성하는 프로토콜을 설계한다.
• 지연을 최소화하면서도 높은 분류 정확도를 유지하기 위해 피처 선택 및 전송 종료 정책을 동시에 최적화한다.
• 선형 분류에서부터 컨볼루션 신경망을 포함한 딥 신경망까지, 가우시안 및 흐림 채널 조건 하에서 제안된 프로토콜을 확장한다.

제안 방법

• 중요도 인식 피처 선택과 동적 전송 종료를 조합한 이중 단계 프로토콜인 프로그레시브 피처 전송(ProgressFTX)을 제안한다.
• 서버 측에서 피처의 분류 능력 향상 정도(각 피처 차원당 불확실성 감소의 최대값)를 기반으로 그레디티 선택 정책을 사용해 피처를 선택한다.
• 비용 기반 전송 제어 정책을 구현하여, 신뢰도 향상의 경제성이 더 이상 전송 비용을 상회하지 않을 경우 전송을 종료한다.
• 스토케스틱 동적 프로그래밍을 사용해 최적 제어 정책을 유도하며, 전송 종료 정책이 임계값 구조를 띤다는 것을 보여준다.
• 가우시안 및 레일리 흐림 채널 조건 하에서 공동 소스-채널 코딩 고려 사항을 포함한 최적화 문제를 수립한다.
• 통계적 및 실측 데이터 모델을 사용해 피처맵과 그들의 분류 중요도를 모델링함으로써 이론적 프레임워크를 컨볼루션 신경망으로 확장한다.

실험 결과

연구 질문

• RQ1 장치가 서버의 모델에 액세스할 수 없는 상황에서 스플릿 인퍼런스의 피처 전송을 어떻게 최적화할 수 있는가?
• RQ2 피처의 중요도가 상이할 경우, 인퍼런스 신뢰도 향상에 기여하는 최적의 피처 선택 정책은 무엇인가?
• RQ3 시간에 따라 변하는 무선 환경 조건에서 통신 비용과 분류 정확도의 균형을 고려해 전송을 어떻게 동적으로 종료해야 하는가?
• RQ4 실제 무선 환경에서 기존의 일회성 피처 프루닝 및 무작위 피처 전송 방식에 비해 제안된 프로토콜이 뚜렷한 지연 감소를 달성할 수 있는가?
• RQ5 ProgressFTX의 성능은 흐림 채널 조건과 복잡한 모델(예: CNN)에서 어떻게 스케일링되는가?

주요 결과

• 최적의 피처 선택 정책은 그레디티임이 입증되었으며, 이는 각 피처 차원당 불확실성 감소가 가장 큰 피처를 선택하는 방식이다.
• 최적의 전송 종료 정책은 임계값 구조를 띤다: 추가 전송의 불확실성 감소가 더 이상 전송 비용을 상회하지 않을 경우 전송을 중단한다.
• 가우시안 및 레일리 흐림 채널 조건 하에서 ProgressFTX는 상한 불확실성에 대해 초지수적 감소를 보이며, 전송된 피처 수가 증가함에 따라 점차적으로 0으로 수렴함을 증명한다.
• 통계적 및 실세계 데이터셋에 대한 실험 결과, ProgressFTX는 기존의 피처 프루닝 및 무작위 전송 방식에 비해 통신 지연을 최대 60% 감소시킴을 보였다.
• GoogLeNet의 피처맵에서 유도된 2×10⁶ 계수와 같은 고차원 피처 부하 조건에서도 높은 분류 정확도를 유지한다.
• 최적화 문제의 볼록성을 증명하여, 다이나믹 프로그래밍을 활용해 최적 제어 정책을 효율적으로 계산할 수 있음을 입증하였다.