[논문 리뷰] SynergicLearning: Neural Network-Based Feature Extraction for Highly-Accurate Hyperdimensional Learning

Mahdi Nazemi, Amirhossein Esmaili외 2명|arXiv (Cornell University)|2020. 07. 30.

Ferroelectric and Negative Capacitance Devices참고 문헌 27인용 수 4

한 줄 요약

이 논문은 신경망(DD)을 특징 추출기로, 초차원(HD) 계산 분류기로 사용하는 하이브리드 기계학습 모델인 SynergicLearning을 제안한다. 이는 높은 정확도(순수 신경망과 유사), 단일 HD 모델 대비 향상된 강건성, 그리고 효율적인 칩 내 구현을 가능하게 한다. 이 프레임워크는 최신 HD 구현 대비 1.60배 높은 에너지 효율성과 2.13배 낮은 지연 시간을 달성하였으며, 실시간 및 점진적 학습을 위한 컴파일러와 매개변수화된 하드웨어 매핑을 제공한다.

ABSTRACT

Machine learning models differ in terms of accuracy, computational/memory complexity, training time, and adaptability among other characteristics. For example, neural networks (NNs) are well-known for their high accuracy due to the quality of their automatic feature extraction while brain-inspired hyperdimensional (HD) learning models are famous for their quick training, computational efficiency, and adaptability. This work presents a hybrid, synergic machine learning model that excels at all the said characteristics and is suitable for incremental, on-line learning on a chip. The proposed model comprises an NN and a classifier. The NN acts as a feature extractor and is specifically trained to work well with the classifier that employs the HD computing framework. This work also presents a parameterized hardware implementation of the said feature extraction and classification components while introducing a compiler that maps any arbitrary NN and/or classifier to the aforementioned hardware. The proposed hybrid machine learning model has the same level of accuracy (i.e. $\pm$1%) as NNs while achieving at least 10% improvement in accuracy compared to HD learning models. Additionally, the end-to-end hardware realization of the hybrid model improves power efficiency by 1.60x compared to state-of-the-art, high-performance HD learning implementations while improving latency by 2.13x. These results have profound implications for the application of such synergic models in challenging cognitive tasks.

연구 동기 및 목표

• 높은 정확도를 가진 신경망과 초차원(HD) 학습 모델의 계산 효율성 간 격차를 메우기 위해.
• 점진적 및 온라인 학습에 적합한 하이브리드 모델의 종단 간 칩 내 배치를 가능하게 하기 위해.
• 임의의 신경망과 분류기를 Synergic 프레임워크에 매핑할 수 있는 컴파일러와 매개변수화된 하드웨어 아키텍처를 개발하기 위해.

제안 방법

• 초차원(HD) 계산 프레임워크에서 후속 분류를 위해 최적화된 특징을 생성하도록 특별히 훈련된 신경망을 사용하여 특징 추출을 수행한다.
• 신경망이 특징 추출기로 기능하고, HD 분류기가 최종 결정을 내리는 하이브리드 모델을 설계한다.
• 특징 추출 및 HD 분류 구성 요소에 대해 매개변수화된 하드웨어 설계를 구현하여 칩 내 효율적 실행을 지원한다.
• 임의의 신경망 및/또는 분류기를 제안된 하드웨어 인식 모델로 매핑할 수 있는 컴파일러를 개발한다.
• HD 계산의 본질적 효율성과 하드웨어 인식 신경망 설계를 활용하여 저전력 및 저지연 시간을 위한 최적화를 수행한다.
• 실시간 추론을 위한 단일하고 컴act하며 확장 가능한 하드웨어 아키텍처로 전체 파이프라인을 통합한다.

실험 결과

연구 질문

• RQ1 신경망과 초차원 계산을 융합한 하이브리드 모델이 순수 신경망 수준의 정확도를 확보하면서도 HD 모델 수준의 효율성을 유지할 수 있는가?
• RQ2 상호보완적 설계는 단일 HD 학습 모델 대비 정확도를 얼마나 향상시키는가?
• RQ3 하드웨어 인식 컴파일링과 매개변수화된 구현을 통해 도달할 수 있는 에너지 효율성 향상과 지연 시간 감소 수준은 어떠한가?
• RQ4 제안된 컴파일러와 하드웨어 매핑은 임의의 신경망과 분류기를 위한 융통성 있는 배치를 지원할 수 있는가?
• RQ5 자원 제약 환경에서 점진적, 온라인 학습에 대해 이 모델은 얼마나 효과적인가?

주요 결과

• 하이브리드 모델은 순수 신경망 수준의 정확도를 ±1% 이내로 달성하여, 잘 훈련된 특징 추출기와 조합된 HD 기반 분류가 성능을 저하시키지 않음을 입증한다.
• 단일 초차원 학습 모델 대비 최소 10% 이상의 정확도 향상을 기록하여 상호보완적 성능 향상의 효과를 입증한다.
• 종단 간 하드웨어 구현은 최신 고성능 HD 학습 구현 대비 1.60배 높은 에너지 효율성을 확보한다.
• 하드웨어 설계는 기존 최고 수준의 HD 학습 시스템 대비 지연 시간을 2.13배 감소시킨다.
• 제안된 컴파일러와 매개변수화된 하드웨어는 임의의 신경망과 분류기를 대상 아키텍처에 효율적으로 매핑할 수 있도록 지원하여 실시간 및 칩 내 배치를 가능하게 한다.
• 낮은 계산 부하와 높은 적응성 덕분에 이 프레임워크는 점진적 및 온라인 학습 응용 분야에 매우 적합하다.