[논문 리뷰] Demeter: A Fast and Energy-Efficient Food Profiler Using Hyperdimensional Computing in Memory

Taha Shahroodi, Mahdi Zahedi외 5명|arXiv (Cornell University)|2022. 01. 01.

Ferroelectric and Negative Capacitance Devices인용 수 3

한 줄 요약

Demeter는 플랫폼에 구애받지 않는 초차원 계산(HDC) 기반의 식품 프로파일링 프레임워크로, 식품 샘플에서 종 분류를 빠르고 정확하며 에너지 효율적으로 수행할 수 있도록 한다. PCM 기반 PIM 가속기(Acc-Demeter)를 활용한 메모리 내 계산을 통해 Kraken2와 MetaCache에 비해 각각 192배와 724배 높은 처리량을 달성하고, 메모리 사용량은 각각 36배와 33배 줄였으며, 同시에 최신 기술 수준(SOTA) 도구와 2% 이내의 정확도를 유지한다.

ABSTRACT

Food profiling is an essential step in any food monitoring system needed to prevent health risks and potential frauds in the food industry. Significant improvements in sequencing technologies are pushing food profiling to become the main computational bottleneck. State-of-the-art profilers are unfortunately too costly for food profiling. Our goal is to design a food profiler that solves the main limitations of existing profilers, namely (1) working on massive data structures and (2) incurring considerable data movement for a real-time monitoring system. To this end, we propose Demeter, the first platform-independent framework for food profiling. Demeter overcomes the first limitation through the use of hyperdimensional computing (HDC) and efficiently performs the accurate few-species classification required in food profiling. We overcome the second limitation by using an in-memory hardware accelerator for Demeter (named Acc-Demeter) based on memristor devices. Acc-Demeter actualizes several domain-specific optimizations and exploits the inherent characteristics of memristors to improve the overall performance and energy consumption of Acc-Demeter. We compare Demeter's accuracy with other industrial food profilers using detailed software modeling. We synthesize Acc-Demeter's required hardware using UMC's 65nm library by considering an accurate PCM model based on silicon-based prototypes. Our evaluations demonstrate that Acc-Demeter achieves a (1) throughput improvement of 192x and 724x and (2) memory reduction of 36x and 33x compared to Kraken2 and MetaCache (2 state-of-the-art profilers), respectively, on typical food-related databases. Demeter maintains an acceptable profiling accuracy (within 2% of existing tools) and incurs a very low area overhead.

연구 동기 및 목표

• 기존 식품 프로파일링 도구들이 거대한 데이터 구조와 과도한 데이터 이동에 의존함에 따라 발생하는 높은 계산 및 메모리 오버헤드를 해결한다.
• Kraken2와 MetaCache와 같은 현재 최신 기술 수준(SOTA)의 프로파일러들이 실시간 식품 모니터링에 적합하지 않을 정도로 너무 느리고 자원을 많이 소비하는 한계를 극복한다.
• 높은 정확도를 유지하면서 에너지 소비와 메모리 소비를 극적으로 줄이는 플랫폼 독립적 프레임워크를 설계한다.
• 데이터 이동을 최소화하고 고성능 서버의 대규모 메모리 요구를 제거함으로써 실시간 식품 모니터링을 가능하게 한다.
• 초기화된 HDC 연산을 네이티브로 지원하고 성능 및 에너지 효율을 최적화하기 위해 메모리스터 기반 PCM 기술을 활용한 특수 설계된 메모리 내 가속기(Acc-Demeter)를 개발한다.

제안 방법

• 생물학적 서열을 고차원 이진 벡터로 표현함으로써 초차원 계산(HDC)을 활용해 식품 프로파일링을 다중 종 분류 문제로 환원한다.
• DNA 서열의 N-gram 인코딩을 사용해 분류에 적합한 의미적 및 분류학적 관계를 유지하는 HD 벡터를 생성한다.
• 다섯 단계 파이프라인을 구현한다: (1) 시퀀스 전처리, (2) N-gram 추출, (3) HD 벡터 인코딩, (4) 코사인 유사도 기반 분류, (5) 풍부도 추정.
• 벡터 연산(예: VMM, pop-count)을 메모리 내에서 직접 수행함으로써 외부 메모리로의 데이터 이동을 제거하는 PCM 기반 메모리 내 가속기(Acc-Demeter)를 설계한다.
• 병렬 VMM과 ADC 출력 덧셈을 활용해 단일 사이클 내 정확한 pop-count 연산을 최적화함으로써 이전 HDC 가속기보다 지연 시간을 감소시킨다.
• 상태 변화 메모리(PCM)의 고유한 메모리 내 계산 및 비버니시성 특성을 활용해 HDC 연산을 가속화하고 에너지 소비를 감소시킨다.

실험 결과

연구 질문

• RQ1 초차원 계산(HDC)이 데이터 구조 크기 감소와 계산 효율 향상에 있어 식품 프로파일링에 효과적으로 적용될 수 있는가?
• RQ2 PCM 기반 가속기를 활용한 메모리 내 계산이 식품 프로파일링 워크로드에서 데이터 이동과 에너지 소비를 얼마나 줄일 수 있는가?
• RQ3 제안된 HDC 기반 프레임워크(Demeter)가 Kraken2와 MetaCache와 같은 기존 최신 기술 수준(SOTA) 프로파일러와 정확도 및 성능 면에서 어떻게 비교되는가?
• RQ4 PIM 기반 가속기(Acc-Demeter)가 높은 분류 정확도를 유지하면서도 상당한 속도 향상과 메모리 감소를 달성할 수 있는가?
• RQ5 하드웨어-소프트웨어 공동 설계된 식품 프로파일링 시스템에 도메인 특화 최적화를 통합할 경우 성능 및 에너지 효율적 이점은 무엇인가?

주요 결과

• Acc-Demeter는 일반적인 식품 관련 데이터베이스에서 Kraken2 대비 192배, MetaCache 대비 724배의 처리량 향상을 달성한다.
• 시스템은 Kraken2 대비 36배, MetaCache 대비 33배의 메모리 프로파일 감소를 기록하여 하드웨어 자원 요구량을 크게 낮춘다.
• Demeter는 기존 SOTA 도구와 2% 이내의 정확도를 유지하며, 감소된 데이터 구조와 계산 복잡도에도 불구하고 높은 정밀도를 입증한다.
• 메모리 내 가속기 설계 덕분에 정확한 pop-count 연산을 단일 사이클 내에서 수행할 수 있어 이전 HDC 가속기(로그2D+1 사이클 필요)에 비해 지연 시간을 감소시킨다.
• PCM 기반 메모리 내 계산을 활용함으로써 에너지 소비를 감소시키고 메모리와 처리 단위 간의 데이터 이동으로 인한 병목 현상을 제거한다.
• UMC의 65nm 라이브러리와 실리콘 정확도를 갖춘 PCM 모델을 활용한 하드웨어 합성 결과, Acc-Demeter의 타당성과 스케일링 시 성능 향상이 확인되었다.