[논문 리뷰] Rational approximation and its application to improving deep learning classifiers

Vinesha Peiris, Nir Sharon외 1명|arXiv (Cornell University)|2020. 02. 26.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 깊이 학습 분류기의 성능을 향상시키기 위해 원시 신호를 유리 함수 매개수로 대체하는 쿼asi볼록 최적화 기반의 유리 근사 방법을 제안한다. 이 방법은 다항식이나 스퍼인보다 더 효과적으로 비연속적이고 리프시츠 조건을 만족하지 않는 신호를 모델링할 수 있는 유리 함수의 유연성을 활용하여 최대 95%의 분류 정확도를 달성하며, 원시 데이터 입력보다 유의미하게 높은 성능을 보인다.

ABSTRACT

A rational approximation by a ratio of polynomial functions is a flexible alternative to polynomial approximation. In particular, rational functions exhibit accurate estimations to nonsmooth and non- Lipschitz functions, where polynomial approximations are not efficient. We prove that the optimisation problems appearing in the best uniform rational approximation are quasiconvex, and show how to use this fact for calculating the best approximation in a fast and efficient method. The paper presents a theoretical study of the arising optimisation problems and provides results of several numerical experiments. In all our computations, the algorithms terminated at optimal solutions. We apply our approximation as a preprocess step to deep learning classifiers and demonstrate that the classification accuracy is significantly improved compared to the classification of the raw signals.

연구 동기 및 목표

• 체비셰프 노름에서 비연속적이고 리프시츠 조건을 만족하지 않는 함수를 유리 함수를 사용해 효율적이고 정확하게 근사하는 방법을 개발하기 위해.
• 불규칙한 함수에 대해 진동과 수치적 불안정성이 발생하는 다항식 및 자유 힌트 스퍼인 근사의 한계를 해결하기 위해.
• 원시 신호를 유리 근사 매개수로 사전 처리하여 원시 데이터를 직접 사용하는 것보다 깊이 학습 분류 성능을 향상시키기 위해.
• 쿼اسي볼록 최적화가 유리 근사 문제에 대해 전역 수렴성과 고정밀도 해를 보장할 수 있음을 입증하기 위해.
• 복잡한 신호 표현을 위한 더 나은 대안으로 다항식 조각별 근사 이론을 확장하기 위해 유리 함수를 사용함.

제안 방법

• 체비셰프(균일) 노름에서 유리 근사 문제를 쿼اسي볼록 최적화 문제로 재구성하여 전역 수렴성을 보장한다.
• 분모의 최고차항 계수를 1로 고정함으로써 매개수 공간을 줄이고 자명한 해를 방지한다.
• 쿼اسي볼록 구조를 활용한 수치 알고리즘을 적용하여 최적의 균일 유리 근사치를 효율적으로 계산한다.
• 깊이 신경망에 입력하기 전에 원시 입력 신호를 소수의 유리 근사 매개수(예: 5 또는 6개의 특징)로 변환한다.
• ReLU 또는 항등/타nh 활성화 함수를 사용하는 깊이 학습 모델을 유사 근사 특징으로 훈련시켜 분류 성능을 향상시킨다.
• 다양한 네트워크 아키텍처(1개 및 2개의 은닉층)와 뉴런 수를 활용해 성능을 평가하여 탄력성과 확장성 여부를 분석한다.

실험 결과

연구 질문

• RQ1 쿼اسي볼록 최적화가 유리 근사 문제에 효과적으로 적용되어 전역 수렴성과 고정밀도를 보장할 수 있는가?
• RQ2 비연속적 신호에서 깊이 학습 분류기 정확도 향상에 있어 다항식 또는 스퍼인 기반 사전 처리와 비교해 유리 근사가 얼마나 우수한가?
• RQ3 최소한의 유리 함수 매개수(예: 5–6개)로 고차원 원시 신호를 대체할 경우, 분류 능력 손실 없이 얼마나 잘 작동하는가?
• RQ4 원시 데이터나 조각별 다항식 근사와 비교해 유리 함수 사용이 생물의학적 신호에서 분류 정확도를 유의미하게 향상시키는가?
• RQ5 기존의 사전 처리 기법보다 높은 정확도를 달성하면서도 계산 효율성을 유지할 수 있는가?

주요 결과

• 제안된 유리 근사 방법은 깊이 학습 모델에서 최대 95%의 분류 정확도를 달성하였으며, 기준선인 원시 데이터 접근 방식(65% 정확도)보다 유의미하게 높았다.
• 1개의 은닉층 구조에서 M1 모델(5개 특징)은 단 2개의 뉴런으로 90%의 정확도를 달성했고, M2 모델(6개 특징)은 8개 뉴런으로 85%의 정확도를 기록하여 모두 기준선인 65%를 초월했다.
• 2개의 은닉층을 가진 경우, M1 모델은 8개 뉴런으로 90%의 정확도를 달성했고, M2 모델은 9 또는 10개 뉴런으로 85%의 정확도를 기록하여 원시 데이터 기반 결과(65% 정확도)보다 일관되게 향상됨을 보였다.
• 비표준 활성화 함수인 항등 함수를 사용함으로써 단일층 모델에서 정확도가 95%까지 상승했으며, 이는 잘 구성된 특징에서는 비선형성이 반드시 필요하지 않음을 시사한다.
• 더 적은 매개수(5개 특징)를 사용하는 M1 모델이 정확도와 계산 효율성 측면에서 항상 M2 모델(6개 특징)을 앞서며 단순한 모델의 우수성을 뒷받침한다.
• 모든 수치 실험에서 필요한 최적성 조건과 충분한 최적성 조건을 만족하는 최적 해로 수렴하였으며, 이는 쿼اسي볼록 최적화 프레임워크의 강건성을 확인한다.