[논문 리뷰] Low-Cost Recurrent Neural Network Expected Performance Evaluation

Andrés Camero, Jamal Toutouh외 1명|arXiv (Cornell University)|2018. 05. 18.

Machine Learning and Data Classification참고 문헌 22인용 수 11

한 줄 요약

이 논문은 랜덤 가중치 초기화를 샘플링하고 결과적으로 발생하는 평균 절대 오차(MAE)에 대해 절단 정규분포를 피팅하여 순환 신경망(RNN) 아키텍처의 예상 성능을 추정하는 저비용, 훈련 없음 방법을 제안한다. 주요 기여는 훈련 후 실제 MAE와 강한 음의 상관관계(r ≈ -0.7에서 -0.9 사이)를 보이는 추정된 낮은 MAE 달성 확률과의 관계로, 이는 전체 훈련 없이도 효율적인 초파rameter 탐색을 가능하게 한다.

ABSTRACT

Recurrent neural networks are a powerful tool, but they are very sensitive to their hyper-parameter configuration. Moreover, training properly a recurrent neural network is a tough task, therefore selecting an appropriate configuration is critical. Varied strategies have been proposed to tackle this issue. However, most of them are still impractical because of the time/resources needed. In this study, we propose a low computational cost model to evaluate the expected performance of a given architecture based on the distribution of the error of random samples of the weights. We empirically validate our proposal using three use cases. The results suggest that this is a promising alternative to reduce the cost of exploration for hyper-parameter optimization.

연구 동기 및 목표

• RNN의 초파라미터 탐색 중 높은 계산 비용 문제를 해결하기 위해.
• RNN 아키텍처의 예상 성능을 추정하는 빠르고, 훈련이 없는 방법을 개발하기 위해.
• 전체 훈련에 의존하는 것의 감소를 통해 대규모 초파라미터 공간의 효율적 탐색을 가능하게 하기 위해.
• 에너지 소비 및 주차 차용도와 같은 실세계 시계열 데이터셋에서 방법을 검증하기 위해.
• 랜덤 가중치 샘플링이 아키텍처 순위 매기기와 초기화에 대한 히ュ리스틱으로서의 잠재력을 탐색하기 위해.

제안 방법

• 주어진 RNN 아키텍처에 대해 다수의 시도 동안 정규분포에서 랜덤으로 가중치를 초기화한다.
• 각 랜덤 가중치 설정에 대해 검증 세트에서 평균 절대 오차(MAE)를 계산한다.
• 관측된 MAE 값들에 대해 절단 정규분포를 피팅하여 목표 MAE 임계치를 달성할 확률을 추정한다.
• 임계치에서 추정된 누적분포함수(CDF) 값을 아키텍처의 성능 대체 지표로 사용한다.
• 전체 훈련 없이도 낮은 오차를 달성할 확률에 기반해 아키텍처를 순위 매긴다.
• Adam 옵timizer를 사용한 훈련 후 실제 MAE와의 비교를 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 전체 훈련 없이도 랜덤 가중치 샘플링이 RNN 성능을 신뢰할 만하게 추정할 수 있는가?
• RQ2 추정된 낮은 오차 달성 확률과 훈련 후 실제 MAE 사이에 강한 상관관계가 존재하는가?
• RQ3 제안된 방법이 예상 성능 측면에서 다양한 RNN 아키텍처를 얼마나 잘 순위 매길 수 있는가?
• RQ4 이 방법은 RNN을 초월한 다른 딥러닝 아키텍처로 일반화될 수 있는가?
• RQ5 추정된 확률이 뉴런 수나 아키텍처의 깊이와 상관관계가 있는가?

주요 결과

• 모든 세 가지 데이터셋에서 추정된 낮은 MAE 달성 확률과 훈련 후 실제 MAE 사이에 중간 정도에서 강한 음의 상관관계(r ≈ -0.7에서 -0.9 사이)를 관찰하였다.
• 이 방법은 하나의 은닉층과 최대 100개의 LSTM 셀을 가진 스택형 RNN 아키텍처의 상대적 성능을 성공적으로 예측하였다.
• 랜덤 샘플링에서 유도된 추정 확률은 최종 훈련 오차를 예측할 수 있었으며, 이는 훈련 없이도 아키텍처 순위 매기기가 가능함을 의미한다.
• 샘플링 방법에 기반해 최고 성능을 보인 아키텍처는 전체 훈련 후에도 항상 상위 성능을 기록하였다.
• 이 방법은 전체 훈련의 필요성을 줄여 초파라미터 탐색에서 계산 비용을 크게 감소시켰다.
• 자동화된 신경망 아키텍처 탐색에서 히ュ리스틱으로 사용할 잠재력이 있으며, 더 깊거나 다른 네트워크 유형으로의 확장 가능성도 보였다.