[논문 리뷰] Reducing the Computational Complexity of Pseudoinverse for the Incremental Broad Learning System on Added Inputs

Hufei Zhu, Liu, Zhulin외 2명|arXiv (Cornell University)|2019. 10. 17.

Machine Learning and ELM참고 문헌 7인용 수 4

한 줄 요약

이 논문은 추가 입력을 위한 증분 브로드 러닝 시스템(BLS)에서 의사역행렬 계산의 계산 복잡도를 감소시키기 위한 효율적인 구현을 제안한다. 행렬 역행렬 항등식을 활용하여 $ q \times q $ 행렬 역행렬을 $ q > k $ 인 경우 $ k \times k $ 역행렬로 대체함으로써, MNIST에서는 1.35–1.57배, NORB에서는 1.10–1.35배의 속도 향상을 달성하였으며, 테스트 정확도는 동일하게 유지된다.

ABSTRACT

In this brief, we improve the Broad Learning System (BLS) [7] by reducing the computational complexity of the incremental learning for added inputs. We utilize the inverse of a sum of matrices in [8] to improve a step in the pseudoinverse of a row-partitioned matrix. Accordingly we propose two fast algorithms for the cases of q > k and q < k, respectively, where q and k denote the number of additional training samples and the total number of nodes, respectively. Specifically, when q > k, the proposed algorithm computes only a k * k matrix inverse, instead of a q * q matrix inverse in the existing algorithm. Accordingly it can reduce the complexity dramatically. Our simulations, which follow those for Table V in [7], show that the proposed algorithm and the existing algorithm achieve the same testing accuracy, while the speedups in BLS training time of the proposed algorithm over the existing algorithm are 1.24 - 1.30.

연구 동기 및 목표

• 새로운 입력 샘플을 추가할 때 증분 BLS에서 의사역행렬 계산의 높은 계산 비용을 해결하기 위해.
• BLS 업데이트 과정에서 행렬 역행렬과 관련된 곱셈의 시간 복잡도를 낮추기 위해.
• 대규모 및 실시간 응용 프로그램을 위한 훈련 속도를 크게 향상시키면서도 동일한 테스트 정확도를 유지하기 위해.
• 증분 학습에서 $ q > k $ 및 $ q \times k $ 케이스 모두에 적용 가능한 통합적이고 효율적인 구현을 개발하기 위해.
• 엣지 컴퓨팅과 같은 자원 제약 환경에서 BLS의 실용적 구현을 가능하게 하기 위해 훈련 효율성을 향상시키기 위해.

제안 방법

• 분할 행렬의 구조에 기반하여 $ q > k $ 및 $ q \times k $ 경우에 대해 각각 다른 두 가지 형태의 효율적 의사역행렬 계산을 제안한다.
• 행렬 역행렬 식(우드베리 항등식)을 활용하여 $ q > k $ 인 경우 원래의 $ q \times q $ 행렬 역행렬을 $ k \times k $ 역행렬로 변환함으로써 계산 비용을 크게 감소시킨다.
• 기존의 의사역행렬 계산 단계(15b)를 대체하기 위한 새로운 표현식(24b 및 24c)을 유도하여 더 빠른 행렬 곱셈을 가능하게 한다.
• $ q > k $ 인 경우, 행렬 역행렬의 경우 부동소수점 연산 수를 $ \frac{1}{2}(q/k)^3 $ 배로 감소시키며, 두 개의 행렬 곱셈 연산은 각각 $ ql/(2k^2) $ 및 $ q/k $ 배의 속도 향상을 달성한다.
• $ q \times k $ 인 경우, 하나의 행렬 곱셈을 $ l/k $ 배로 가속화하여 이 영역의 계산 부담을 감소시킨다.
• 새로운 공식을 증분 BLS 프레임워크에 구현하여, 출력 가중치 계산을 위한 리지 회귀 근사치를 유지한다.

실험 결과

연구 질문

• RQ1 새로운 입력 샘플을 추가할 때 증분 BLS에서 의사역행렬 계산의 계산 복잡도를 낮출 수 있는가?
• RQ2 행렬 항등식을 활용하여 $ q \times q $ 행렬 역행렬을 $ k \times k $ 역행렬로 대체함으로써 이론적으로 달성 가능한 속도 향상 비율은 얼마인가?
• RQ3 제안된 방법은 원래 BLS와 비교해 일반화 성능과 테스트 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋과 입력 스케일링 영역($ q > k $ 대비 $ q \times k $)에서 총 훈련 시간의 실용적 속도 향상 비율은 얼마인가?
• RQ5 제안된 방법은 실시간 또는 엣지 컴퓨팅 응용 프로그램과 같이 지연 시간이 중요한 환경에서 확장 가능하고 적합한가?

주요 결과

• 제안된 방법은 모든 실험에서 원래 BLS와 동일한 테스트 정확도를 달성하여, 효율성 향상이 성능에 영향을 주지 않음을 확인한다.
• MNIST 데이터셋에서 $ q > k $ 인 경우 총 훈련 시간에 대해 1.35–1.57배의 속도 향상을 달성하였으며, $ q \times k $ 인 경우 1.09–1.13배의 속도 향상을 기록하였다.
• NORB 데이터셋에서는 $ q > k $ 인 경우 1.10–1.35배의 속도 향상이 있었고, $ q \times k $ 인 경우 1.07–1.09배의 속도 향상을 기록하여 일관된 성능 향상을 입증하였다.
• 행렬 역행렬의 이론적 속도 향상은 $ \frac{1}{2}(q/k)^3 $ 이며, 이는 수치 시뮬레이션을 통해 실험적으로도 검증되었다.
• 이 방법은 $ q > k $ 인 경우 행렬 역행렬 및 두 개의 행렬 곱셈에 대한 부동소수점 연산 수를 감소시켜 효율성을 크게 향상시킨다.
• 특히 큰 $ q $ 인 경우에 계산 절감 효과가 가장 두드러지므로, 이는 대용량 데이터 및 실시간 응용 프로그램에 적합하다.