[논문 리뷰] Peephole: Predicting Network Performance Before Training

Boyang Deng, Junjie Yan외 1명|arXiv (Cornell University)|2017. 12. 09.

Anomaly Detection Techniques and Applications참고 문헌 23인용 수 84

한 줄 요약

Peephole은 Unified Layer Code와 LSTM을 사용하여 아키텍처만으로 신경망의 최종 성능을 예측하고, 빠른 아키텍처 탐색과 데이터셋 간 신뢰할 수 있는 랭킹을 가능하게 한다.

ABSTRACT

The quest for performant networks has been a significant force that drives the advancements of deep learning in recent years. While rewarding, improving network design has never been an easy journey. The large design space combined with the tremendous cost required for network training poses a major obstacle to this endeavor. In this work, we propose a new approach to this problem, namely, predicting the performance of a network before training, based on its architecture. Specifically, we develop a unified way to encode individual layers into vectors and bring them together to form an integrated description via LSTM. Taking advantage of the recurrent network's strong expressive power, this method can reliably predict the performances of various network architectures. Our empirical studies showed that it not only achieved accurate predictions but also produced consistent rankings across datasets -- a key desideratum in performance prediction.

연구 동기 및 목표

• 네트워크 설계의 비용과 시간을 줄이기 위해 학습 없이 성능을 예측한다.
• 이질적인 아키텍처를 통일하기 위한 보편적 레이어 표현을 개발한다.
• 가변 깊이/토폴로지 네트워크에서 LSTM으로 레이어 표현을 통합한다.
• 아키텍처 탐색에 빠른 피드백을 제공해 유망한 설계에 우선 순위를 부여한다.
• CIFAR-10과 MNIST에서 예측을 검증하고 랭킹 일관성을 평가한다.

제안 방법

• 각 레이어를 정수 코딩(TY, KW, KH, CH) 및 Layer Embedding을 사용하여 고정 차원의 벡터로 인코딩하는 Unified Layer Code.
• LSTM이 네트워크 토폴로지에 따라 레이어 표현을 집계하여 구조적 특징을 생성한다.
• 에폭 정보를 인코딩하고 구조적 특징과 결합하여 최종 정확도를 예측하는 MLP를 구성한다.
• Markov-주도 블록을 통해 다양한 plausible 아키텍처를 생성하여 예측기를 예산 내에서 학습한다.
• 훈련 목표는 각 아키텍처의 예측된 최종 에폭 정확도와 실제 값 사이의 부드러운 L1 손실을 사용하는 것이다.

실험 결과

연구 질문

• RQ1 네트워크 성능이 학습 없이도 순전히 아키텍처에 기반해 정확하게 예측될 수 있는가?
• RQ2 이질적인 레이어 타입을 예측 모델에 대해 어떻게 균일하게 표현할 수 있는가?
• RQ3 LSTM으로 레이어 정보를 순차적으로 통합하면 깊이/토폴로지를 가로지르는 아키텍처 패턴을 포착할 수 있는가?
• RQ4 예측된 성능 순위가 데이터셋 전반에서 안정적이고 실제 성능과 상관관계가 있는가?

주요 결과

Method	MSE	Tau	R^2
BNN	0.0032	0.5417	0.5400
ν-SVR	0.0018	0.6232	0.7321
Peephole	0.0010	0.7696	0.8596

• Peephole은 CIFAR-10에서 기준 방법보다 더 낮은 MSE를 달성했다(MSE 0.0010; Tau 0.7696; R^2 0.8596).
• Peephole은 강력한 랭킹 상관성을 보이며 CIFAR-10에서 Bayesian NN 및 ν-SVR보다 여러 지표에서 우수했다.
• MNIST에서도 Peephole이 보고된 지표들에서 기준선보다 우수하게 나타나 데이터셋 간 견고함을 시사한다.
• LSTM에서 학습된 구조적 특징은 컨볼루션 레이어에서의 반응 증가와 같은 아키텍처 패턴을 반영하여 표현의 의미성을 지지한다.