[논문 리뷰] Orchestrating Multimodal DNN Workloads in Wireless Neural Processing

Sai Xu, Kai-Kit Wong외 2명|arXiv (Cornell University)|2026. 03. 02.

Advanced Neural Network Applications인용 수 0

한 줄 요약

논문은 O-WiN을 제시하여 다중 모달 추론을 위한 무선 전송과 다중 코어 DNN 실행을 공동 최적화하고, RTFS와 PACS를 도입하여 순차 스케줄링 대 파이프라인 기반 스케줄링을 비교한다. 이질적인 다중 모달 워크로드에서 PACS는 통신과 계산의 중첩을 통해 RTFS를 크게 능가한다.

ABSTRACT

In edge inference, wireless resource allocation and accelerator-level deep neural network (DNN) scheduling have yet to be co-optimized in an end-to-end manner. The lack of coordination between wireless transmission and accelerator-level DNN execution prevents efficient overlap, leading to higher end-to-end inference latency. To address this issue, this paper investigates multimodal DNN workload orchestration in wireless neural processing (WNP), a paradigm that integrates wireless transmission and multi-core accelerator execution into a unified end-to-end pipeline. First, we develop a unified communication-computation model for multimodal DNN execution and formulate the corresponding optimization problem. Second, we propose O-WiN, a framework that orchestrates DNN workloads in WNP through two tightly coupled stages: simulation-based optimization and runtime execution. Third, we develop two algorithms, RTFS and PACS. RTFS schedules communication and computation sequentially, whereas PACS interleaves them to enable pipeline parallelism by overlapping wireless data transfer with accelerator-level DNN execution. Simulation results demonstrate that PACS significantly outperforms RTFS under high modality heterogeneity by better masking wireless latency through communication-computation overlap, thereby highlighting the effectiveness of communication-computation pipelining in accelerating multimodal DNN execution in WNP.

연구 동기 및 목표

• 다중 모달 워크로드를 위한 무선 데이터 전달과 가속기 수준 DNN 실행의 엔드-투-엔드 최적화를 동기화적으로 추진한다.
• 무선 신경 처리(WNP)에서 통신-계산 파이프라인을 통합 모델링한다.
• O-WiN을 개발하고 두 가지 스케줄링 알고리즘을 통해 엔드-투-엔드 메이크스팬을 최소화하기 위한 연구를 수행한다.

제안 방법

• OFDMA 기반 상향링크 전송과 다중 코어 가속기의 우선순위 제약된 병렬 기계 스케줄링을 연결하는 통합 모델을 정식화한다.
• 작업을 모달리티별 DNN 연산자로 정의하고 DAG 의존성과 NoC 대역폭 제약 하에서 코어에 매핑한다.
• 네 가지 모듈러 구성요소를 갖는 O-WiN을 도입한다: 통신 시스템, 계산 플랫폼, 최적화 알고리즘, 성능 평가.
• 두 가지 휴리스틱 알고리즘: RTFS(순차 전송-계산)와 PACS(파이프라인 인식 동시 스케줄링)를 개발한다.
• 다양한 코어, 서브캐리어, 압축 인자 하에서 매이크스팬과 코어별 NoC 대역폭을 측정하기 위한 시뮬레이션으로 평가한다.

실험 결과

연구 질문

• RQ1 다중 모달 추론에서 엔드-투-엔드 지연을 최소화하기 위해 무선 자원 할당과 가속기 수준 DNN 스케줄링을 공동 최적화하는 방법은?
• RQ2 WNP에서 기다리기-모두(wait-all) 접근 방식에 비해 중첩된 통신-계산 파이프라이닝의 이점은 무엇인가?
• RQ3 모달리티 이질성과 시스템 매개변수(코어, NoC 예산, OFDMA 서브캐터) 가 엔드-투-엔드 성능에 어떤 영향을 미치는가?
• RQ4 PACS가 모달리티 서브그래프 전반에 걸친 데이터 전송과 계산의 중첩을 통해 RTFS를 능가할 수 있는가?

주요 결과

• 모달리티 이질성이 큰 환경에서 PACS가 통신-계산 중첩을 통해 무선 지연을 더 잘 마스킹하여 RTFS를 크게 능가한다.
• 통합 파이프라인 프레임워크(O-WiN)가 무선 전송과 DNN 실행에 걸친 엔드-투-엔드 최적화를 가능하게 한다.
• 시뮬레이션 결과는 파이프라인 병렬성 및 단계 간 중첩으로 인한 이득을 보여주며, 코어, 서브캐리어, 지연 인자, 압축에 대한 민감도 분석이 포함된다.