[논문 리뷰] Nonparametric Neural Networks

George Philipp, Jaime Carbonell|arXiv (Cornell University)|2017. 12. 14.

Advanced Neural Network Applications참고 문헌 25인용 수 9

한 줄 요약

이 논문은 ℓ₂ 페널티와 피드인 또는 피드아웃 가중치에 대한 ℓₚ 정규화를 통해 단일 학습 런 동안 네트워크 크기를 지속적으로 증가 및 제거함으로써 동적으로 네트워크 크기를 조정하는 비모수적 신경망 프레임워크를 소개한다. 제안된 AdaRad 최적화 알고리즘은 자동으로 네트워크 확장과 정제를 가능하게 하여 고정된 크기의 네트워크와 전통적인 하이퍼파라미터 검색 방법보다 높은 정확도를 달성하면서도 계산 비용을 줄였다.

ABSTRACT

Automatically determining the optimal size of a neural network for a given task without prior information currently requires an expensive global search and training many networks from scratch. In this paper, we address the problem of automatically finding a good network size during a single training cycle. We introduce *nonparametric neural networks*, a non-probabilistic framework for conducting optimization over all possible network sizes and prove its soundness when network growth is limited via an L_p penalty. We train networks under this framework by continuously adding new units while eliminating redundant units via an L_2 penalty. We employ a novel optimization algorithm, which we term *adaptive radial-angular gradient descent* or *AdaRad*, and obtain promising results.

연구 동기 및 목표

• 사전 지식 없이 또는 비용이 많이 드는 전역 하이퍼파라미터 검색을 거치지 않고 최적의 신경망 크기를 자동으로 선택하는 문제를 해결하기 위해.
• 반복적인 전체 학습 사이클을 피하기 위해 단일 학습 런 동안 동적 네트워크 확장과 정제를 가능하게 하기 위해.
• 피드인 또는 피드아웃 가중치에 대한 ℓₚ 정규화 하에 이 프레임워크의 이론적 타당성을 입증하여 유한 크기의 해로 수렴함을 보장하기 위해.
• 효율적인 네트워크 크기 조정을 위해 반지름 및 각도 단계를 적응적으로 조정하는 새로운 최적화 알고리즘 AdaRad를 개발하기 위해.
• 비모수적 네트워크가 고정 크기 네트워크와 표준 하이퍼파라미터 검색 방법보다 더 높은 테스트 정확도를 달성함을 보여주기 위해.

제안 방법

• 네트워크 너비(각 레이어의 유닛 수)를 사전에 고정하지 않고 학습 가능한 하이퍼파라미터로 삼는 비모수적 신경망 프레임워크를 도입한다.
• 무한대에 가까운 네트워크 크기의 증가를 방지하고 최적 크기가 유한해지도록 하기 위해 피드인 또는 피드아웃 ℓₚ 정규화(Ω_in 또는 Ω_out)를 적용한다.
• 동적 네트워크 크기 변화 중에 학습을 안정화하기 위해 새로운 정규화 레이어인 CapNorm를 사용한다.
• 반지름(가중치 크기)과 각도(방향) 단계를 적응적으로 조정하는 최적화 알고리즘인 AdaRad(Adaptive Radial-Angular Gradient Descent)를 제안한다.
• 두 단계 학습 전략을 사용한다: 먼저 유닛을 추가하여 네트워크를 확장하고, 성능을 유지하면서 ℓ₂ 정규화를 통해 불필요한 유닛을 정제한다.
• 수렴 후 복원 메커니즘을 도입하여 하이퍼파rameter를 정밀하게 조정하고, 더 이상 향상되지 않을 때까지 단계 크기를 점진적으로 줄인다.

실험 결과

연구 질문

• RQ1 사전 지식 없이 또는 반복적인 전체 학습 사이클 없이 단일 학습 런 동안 신경망이 자동으로 최적의 크기를 결정할 수 있는가?
• RQ2 ℓ₂ 및 ℓₚ 정규화를 통한 동적 네트워크 확장과 정제가 고정 크기 네트워크보다 더 우수한 일반화 성능을 보이는가?
• RQ3 제안된 AdaRad 최적화 알고리즘이 네트워크 확장과 정제를 효과적으로 균형 잡아 모델 정확도를 향상시키는가?
• RQ4 ℓₚ 정규화 하에 이론적으로 타당한 비모수적 프레임워크는 보장된 유한 최적 크기의 네트워크를 갖는가?
• RQ5 비모수적 네트워크의 성능은 랜덤 서치나 베이지안 최적화와 같은 표준 하이퍼파라미터 검색 방법과 비교해 어떻게 되는가?

주요 결과

• 비모수적 네트워크는 동일한 크기의 고정 크기 네트워크보다 더 높은 테스트 정확도를 달성하여 동적 아키텍처 적응의 이점을 입증하였다.
• λ > 0 인 피드인 또는 피드아웃 ℓₚ 정규화를 사용할 경우, 유한한 네트워크 크기에서 훈련 오차의 전역 최소값을 달성한다.
• AdaRad는 네트워크 크기와 가중치를 함께 효과적으로 최적화할 수 있으며, 동적 환경에서 Adam 및 RMSprop와 같은 표준 최적화기보다 뛰어난 성능을 보였다.
• 포커 데이터셋에서 최고의 비모수적 네트워크는 테스트 오차 1.44%를 기록하여 최고의 고정 크기 네트워크(1.52%)와 모든 표준 하이퍼파라미터 검색 기반 모델을 능가했다.
• 비모수적 프레임워크가 선택한 네트워크 크기는 항상 성능이 가장 뛰어난 고정 크기 네트워크보다 일관되게 작았으며, 이는 더 높은 파라미터 효율성을 의미한다.
• 제거 실험을 통해 CapNorm 레이어와 AdaRad 알고리즘이 비모수적 환경에서 안정적이고 효과적인 학습을 위해 필수적임을 확인했다.