[논문 리뷰] Distributed On-Sensor Compute System for AR/VR Devices: A Semi-Analytical Simulation Framework for Power Estimation

Jorge Marx Gómez, Saavan Patel외 9명|arXiv (Cornell University)|2022. 03. 14.

Advanced Memory and Neural Computing인용 수 12

한 줄 요약

이 논문은 AR/VR 기기용 분산형 센서 내 컴퓨팅 아키텍처에서 전력 소비를 최적화하기 위해 반분석적 시뮬레이션 프레임워크를 제안한다. 3D-IC 인터커넥트, STT-MRAM, 프로세서-메모리 분할과 같은 하드웨어 구성 요소를 공동 최적화함으로써, 데이터 이동을 최소화하고 센서 내 추론을 활용하여 수동 추적 워크로드에서 최대 24%의 시스템 전력 절감을 입증한다.

ABSTRACT

Augmented Reality/Virtual Reality (AR/VR) glasses are widely foreseen as the next generation computing platform. AR/VR glasses are a complex "system of systems" which must satisfy stringent form factor, computing-, power- and thermal- requirements. In this paper, we will show that a novel distributed on-sensor compute architecture, coupled with new semiconductor technologies (such as dense 3D-IC interconnects and Spin-Transfer Torque Magneto Random Access Memory, STT-MRAM) and, most importantly, a full hardware-software co-optimization are the solutions to achieve attractive and socially acceptable AR/VR glasses. To this end, we developed a semi-analytical simulation framework to estimate the power consumption of novel AR/VR distributed on-sensor computing architectures. The model allows the optimization of the main technological features of the system modules, as well as the computer-vision algorithm partition strategy across the distributed compute architecture. We show that, in the case of the compute-intensive machine learning based Hand Tracking algorithm, the distributed on-sensor compute architecture can reduce the system power consumption compared to a centralized system, with the additional benefits in terms of latency and privacy.

연구 동기 및 목표

• AR/VR 안경의 전력, 열, 형상 제약을 해결하기 위해 센서 내 AI 처리를 가능하게 한다.
• MIPI 데이터 전송로 인해 높은 통신 및 전력 비용을 유발하는 중심 집중식 처리의 한계를 극복한다.
• 센서, 프로세서, 메모리, 인터페이스 간의 체계적 상충 관계를 모델링하여 AR/VR 워크로드에 대한 하드웨어-소프트웨어 공동 설계를 가능하게 한다.
• 시스템 전력을 최소화하면서도 저지연성과 프라이버시를 유지하기 위해 센서 내 프로세서와 집계기 간의 워크로드 분할을 최적화한다.
• 3D-IC, μTSV, STT-MRAM와 같은 신기술의 영향을 체계적 전력 효율성에 미치는 영향을 평가한다.

제안 방법

• 카메라, MIPI 인터페이스, 센서 내 프로세서, 메모리 등 모든 시스템 모듈의 전력 소비를 모델링하는 반분석적 시뮬레이션 프레임워크를 개발한다.
• 정확한 전력 추정을 위해 실리콘 캘리브레이션된 이벤트 기반 시뮬레이터(GVSoC)를 사용해 계산 및 메모리 파rameter를 校정한다.
• 센서 내 프로세서가 고속도, 저에너지 μTSV 인터커넥트를 통해 이미지 센서에 연결된 분산형 센서 내 컴퓨팅 아키텍처를 모델링한다.
• 활성화 메모리에 SRAM을, 가중치 메모리에 STT-MRAM을 사용하는 하이브리드 메모리 계층을 구현하여 누설 전력을 감소시키고 밀도를 향상시킨다.
• 두 단계의 수동 추적 네트워크(DetNet 및 KeyNet)의 워크로드 분할을 시뮬레이션하며, DetNet은 센서 내에서 실행되고 KeyNet은 집계기에서 실행된다.
• 기술 노드(예: 16nm 대비 7nm) 및 메모리 기술을 변화시켜 중심 집중형 대비 분산형 시스템의 전력 절감 효과를 정량화한다.

실험 결과

연구 질문

• RQ1 분산형 센서 내 컴퓨팅이 중심 집중형 아키텍처에 비해 AR/VR 워크로드에서 시스템 전력 소비를 얼마나 줄일 수 있는가?
• RQ2 통신 인터페이스(MIPI 대비 μTSV)가 데이터 집약적 응용 프로그램에서 전체 시스템 전력에 어떤 영향을 미치는가?
• RQ3 센서 내 메모리 계층에서 SRAM 대신 STT-MRAM를 사용할 경우 전력 및 면적 효율성에 어떤 영향을 미치는가?
• RQ4 센서 내 프로세서의 기술 노드(예: 16nm 대비 7nm)가 분산 아키텍처에서 체계적 전력 절감에 어떤 영향을 미치는가?
• RQ5 수동 추적과 같은 두 단계 신경망의 최적 분할 전략(센서 내 처리 대 비센서 처리)은 시스템 전력을 최소화하기 위해 어떻게 설정되어야 하는가?

주요 결과

• 수동 추적 워크로드에서 분산형 센서 내 컴퓨팅 아키텍처는 중심 집중형 시스템 대비 총 시스템 전력 소비를 24% 감소시킨다.
• 7nm 집계기 대비 덜 발전된 16nm 센서 내 프로세서를 사용하더라도, MIPI 및 카메라 전력 소비 감소로 인해 전체 시스템 전력이 16% 감소한다.
• 고속도 μTSV 인터커넥트를 통해 높은 대역폭을 확보함으로써 센서 내 처리가 가능해져 디지털 리드아웃 시간을 단축시키고, 저전력 대기 모드를 연장시킨다.
• 가중치 저장에 STT-MRAM를 사용할 경우, SRAM 대비 극미소 누설 전력으로 인해 센서 내 메모리 전력 소비가 39% 감소한다.
• STT-MRAM는 SRAM 대비 2배 높은 메모리 밀도를 제공하여 센서 내 형상 제약을 개선하고 면적 점유율을 감소시킨다.
• 중복된 가중치 저장으로 인해 총 메모리 에너지가 약간 증가하지만, 데이터 이동 및 통신 비용 감소로 인해 전체 시스템 전력은 뚜렷이 감소한다.