[논문 리뷰] Euphrates: Algorithm-SoC Co-Design for Low-Power Mobile Continuous Vision

Yuhao Zhu, Anand Samajdar외 2명|arXiv (Cornell University)|2018. 03. 29.

CCD and CMOS Imaging Sensors참고 문헌 39인용 수 10

한 줄 요약

Euphrates는 ISP에서 생성하는 운동 벡터를 활용하여 연속적인 모바일 비전 환경에서 CNN 추론 빈도를 감소시키는 알고리즘-SoC 공동 설계 프레임워크를 제안한다. 이로 인해 최대 66%의 시스템 수준 에너지 절감과 4배 감소된 비전 계산 에너지 소비를 달성하면서 정확도 손실은 1% 미만으로 유지되며, 전용 운동 제어기 하드웨어 IP를 통해 CPU를 활용하지 않고 항상 켜진 상태로 운영이 가능하다.

ABSTRACT

Continuous computer vision (CV) tasks increasingly rely on convolutional neural networks (CNN). However, CNNs have massive compute demands that far exceed the performance and energy constraints of mobile devices. In this paper, we propose and develop an algorithm-architecture co-designed system, Euphrates, that simultaneously improves the energy-efficiency and performance of continuous vision tasks. Our key observation is that changes in pixel data between consecutive frames represents visual motion. We first propose an algorithm that leverages this motion information to relax the number of expensive CNN inferences required by continuous vision applications. We co-design a mobile System-on-a-Chip (SoC) architecture to maximize the efficiency of the new algorithm. The key to our architectural augmentation is to co-optimize different SoC IP blocks in the vision pipeline collectively. Specifically, we propose to expose the motion data that is naturally generated by the Image Signal Processor (ISP) early in the vision pipeline to the CNN engine. Measurement and synthesis results show that Euphrates achieves up to 66% SoC-level energy savings (4 times for the vision computations), with only 1% accuracy loss.

연구 동기 및 목표

• 모바일 기기에서 CNN 기반 연속 비전의 높은 에너지 및 계산 요구를 해결한다.
• 실시간 영상 처리에서 빈번한 CNN 추론에 의존하는 것을 줄여 에너지 효율성을 향상시킨다.
• ISP에서 자연스럽게 생성되는 운동 데이터를 활용하여 추가적인 계산 오버헤드를 최소화한다.
• CPU를 사용하지 않고 항상 케어진 상태로 작동하는 하드웨어-소프트웨어 공동 설계 시스템을 설계한다.
• 정확도를 희생시키지 않고도 상당한 에너지 절감과 성능 향상을 달성한다.

제안 방법

• 연속 영상 프레임 간의 시간적 운동을 사용하여 CNN 추론 빈도를 감소시킨다.
• 비전 처리 파이프라인의 초기 단계에서 ISP가 생성한 운동 벡터를 CNN 엔진에 노출하여 운동 기반 예측을 수행한다.
• CPU 간섭 없이도 자율적으로 비전 작업을 순차화하고 운동 외삽을 수행하는 운동 제어기 하드웨어 IP를 도입한다.
• ISP, 운동 제어기, CNN 가속기 등 여러 SoC IP 블록을 공동 최적화하여 최대한의 에너지 효율성을 확보한다.
• 면적과 전력 오버헤드를 최소화하기 위해 경량 마이크로컨트롤러 유사 단위로 운동 제어기를 설계한다.
• 실제 하드웨어 측정값과 상용 모바일 SoC 모델 기반 RTL 합성 결과를 활용해 시스템을 구현하고 검증한다.

실험 결과

연구 질문

• RQ1 ISP에서 자연스럽게 생성되는 운동 정보를 연속 비전에서 CNN 추론 빈도 감소에 활용할 수 있는가?
• RQ2 운동 데이터는 SoC IP 블록 간에 어떻게 효율적으로 노출되고 활용되어 에너지 효율성을 향상시킬 수 있는가?
• RQ3 하드웨어 운동 제어기가 CPU 부하와 시스템 수준의 에너지 소비에 어떤 영향을 미치는가?
• RQ4 운동 기반 외삽을 통해 계산량을 줄이되 정확도를 유지할 수 있는 정도는 어느 정도인가?
• RQ5 알고리즘-아키텍처 공동 설계는 단독적인 알고리즘 최적화나 아키텍처 최적화보다 어떻게 다른가?

주요 결과

• Euphrates는 객체 탐지 작업에서 최대 66%의 시스템 수준 에너지 절감과 4배 감소된 비전 계산 에너지 소비를 달성한다.
• 기본 모델 대비 99%의 정확도를 유지하며, 객체 탐지 작업에서 정확도 손실은 1% 미만이다.
• 객체 추적 작업에서는 약 1%의 정확도 손실로 21%의 에너지 절감을 달성한다.
• 운동 제어기가 CPU 부하를 극도로 낮추며 항상 케어진 연속 비전을 가능하게 한다.
• 기본 CNN 모델을 수정하지 않고도 운동 벡터를 활용해 추론 빈도를 감소시킴으로써 공동 설계 접근법이 효과를 발휘한다.
• 특히 ISP와 CNN 가속기 간의 상호 작용을 통해 상당한 에너지 절감 효과를 얻을 수 있음을 시스템이 입증한다.