[논문 리뷰] Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing

Cameron Diao, Denis Kleyko외 2명|arXiv (Cornell University)|2021. 06. 17.

Ferroelectric and Negative Capacitance Devices참고 문헌 67인용 수 21

한 줄 요약

이 논문은 자동 벡터 기능 연결(RVFL) 네트워크에서 최소 제곱법 분류기를 일반화된 학습 벡터 양자화(GLVQ)로 대체하여 계산 비용을 줄이면서도 분류 정확도를 유지하거나 향상시키는 것을 제안한다. GLVQ 기반 RVFL 모델은 최소 제곱법의 21%에 불과한 계산 비용으로 UCI 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 특히 각 클래스당 하나의 프로토타입을 사용하고 10번의 학습 반복에 제한된 조건에서도 성능이 뛰어나다.

ABSTRACT

Machine learning algorithms deployed on edge devices must meet certain resource constraints and efficiency requirements. Random Vector Functional Link (RVFL) networks are favored for such applications due to their simple design and training efficiency. We propose a modified RVFL network that avoids computationally expensive matrix operations during training, thus expanding the network's range of potential applications. Our modification replaces the least-squares classifier with the Generalized Learning Vector Quantization (GLVQ) classifier, which only employs simple vector and distance calculations. The GLVQ classifier can also be considered an improvement upon certain classification algorithms popularly used in the area of Hyperdimensional Computing. The proposed approach achieved state-of-the-art accuracy on a collection of datasets from the UCI Machine Learning Repository - higher than previously proposed RVFL networks. We further demonstrate that our approach still achieves high accuracy while severely limited in training iterations (using on average only 21% of the least-squares classifier computational costs).

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 RVFL 네트워크의 최소 제곱법 학습에서 행렬 역행렬 계산의 높은 계산 비용을 해결한다.
• 각 클래스당 다수의 프로토타입을 통해 내부 클래스 변동성을 모델링할 수 있는 GLVQ의 능력을 활용하여 RVFL 네트워크의 분류 정확도를 향상시킨다.
• 행렬 연산을 단순한 벡터 및 거리 계산으로 대체하여 전용 하드웨어에서의 효율적인 학습을 가능하게 한다.
• 엄격한 반복 수 제한 조건에서도 다수의 프로토타입을 사용할 경우 GLVQ가 최소 제곱법을 초월하는 정확도를 보일 수 있음을 입증한다.
• 랜덤화된 신경망 및 초차원 컴퓨팅(Hyperdimensional Computing, HDC)에서 효율적이고 정확한 분류의 새로운 기준을 설정한다.

제안 방법

• RVFL 네트워크의 정규화된 최소 제곱법(RLS) 출력층 가중치 최적화를 일반화된 학습 벡터 양자화(GLVQ)로 대체하여 출력층을 학습시킨다.
• 행렬 역행렬 계산 대신 클래스 프로토타입과 거리 계산 기반의 반복적 업데이트 규칙을 사용한다.
• 계산 비용을 최소화하면서도 정확도를 유지하기 위해 각 클래스당 하나의 프로토타입을 사용한 GLVQ를 적용한다.
• 내부 클래스 변동성을 모델링하고 일반화 성능을 향상시키기 위해 GLVQ를 다수의 프로토타입을 허용하도록 확장한다.
• 초차원 컴퓨팅(HDC) 원칙에 부합하고 하드웨어 효율성을 향상시키기 위해 정수형 활성화만을 사용하는 intRVFL 네트워크를 학습시킨다.
• 그리드 서치를 통해 프로토타입 수, 학습률, 커널 대역폭(KGLVQ 비교용)과 같은 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 계산 자원 제약 조건 하에서도 GLVQ가 최소 제곱법을 대체하여 분류 정확도를 손상시키지 않고 가능할 수 있는가?
• RQ2 GLVQ에서 각 클래스당 다수의 프로토타입을 사용할 경우, 단일 프로토타입 GLVQ 및 최소 제곱법보다 분류 정확도가 향상되는가?
• RQ3 학습 반복 수가 심각하게 제한된 조건에서 GLVQ의 계산 비용은 최소 제곱법과 비교해 어떻게 되는가?
• RQ4 GLVQ 기반 RVFL 네트워크는 초차원 컴퓨팅에서 표준 중심점 기반 분류 방식보다 더 높은 정확도를 달성할 수 있는가?
• RQ5 UCI 데이터셋에서 제안된 GLVQ 기반 RVFL 모델은 커널화된 GLVQ(KGLVQ)와 정확도 및 효율성 측면에서 어떻게 비교되는가?

주요 결과

• GLVQ 기반 RVFL 모델은 UCI 데이터셋 컬렉션에서 평균 교차 검증 정확도 0.81을 기록하여 최소 제곱법 분류기의 평균 0.76보다 뛰어나다.
• 단지 10회의 학습 반복만으로도 GLVQ 분류기는 평균 정확도 0.80을 달성했는데, 이는 최소 제곱법 분류기와 유사한 성능을 보였고, 평균 계산 비용은 최소 제곱법의 21%에 불과했다.
• 각 클래스당 다수의 프로토타입을 허용할 경우, GLVQ 기반 접근법은 평균 정확도 0.82를 기록하여 최소 제곱법(0.80)을 유의미하게 뛰어넘었으며, 통계적으로 유의미한 p값 < 0.05를 확보했다.
• GLVQ와 최소 제곱법의 성능 간 피어슨 상관계수는 0.87이었으며, 이는 GLVQ가 일관되게 성능 향상을 이끌어낸다는 것을 시사한다.
• KGLVQ의 더 높은 메모리 및 계산 요구량에도 불구하고, 제안된 GLVQ 기반 접근법은 일부 데이터셋에서 KGLVQ(평균 정확도 0.79)를 초월하여 평균 정확도 0.82를 기록했다.
• 각 클래스당 하나의 프로토타입을 사용한 GLVQ 분류기는 최소 제곱법과 동일한 정확도를 달성했지만, 평균 계산 비용을 79% 감소시켜 효율성-정확도 트레이드오프의 유연성을 입증했다.