[논문 리뷰] Breaking the Activation Function Bottleneck through Adaptive Parameterization

Sebastian Flennerhag, Hujun Yin외 2명|arXiv (Cornell University)|2018. 05. 22.

Topic Modeling참고 문헌 47인용 수 8

한 줄 요약

이 논문은 입력에 따라 변하는 애파인 변환 매개수를 학습함으로써 신경망의 유연성을 향상시키는 적응형 파rameterization을 소개한다. 이는 활성화 함수의 병목 현상을 극복하고, 표준 LSTMs보다 20–30% 적은 매개수를 사용하면서도 훨씬 적은 반복 횟수 내에 수렴하는 상태최적 성능을 달성한다.

ABSTRACT

Standard neural network architectures are non-linear only by virtue of a simple element-wise activation function, making them both brittle and excessively large. In this paper, we consider methods for making the feed-forward layer more flexible while preserving its basic structure. We develop simple drop-in replacements that learn to adapt their parameterization conditional on the input, thereby increasing statistical efficiency significantly. We present an adaptive LSTM that advances the state of the art for the Penn Treebank and WikiText-2 word-modeling tasks while using fewer parameters and converging in less than half as many iterations.

연구 동기 및 목표

• 큰 입력 범위에서 대부분 선형인 활성화 함수로 인해 발생하는 표준 신경망의 취약성과 비효율성을 해결하기 위해.
• 고정된 비적응형 함수로 제한되어 비선형성이 제한되는 '활성화 함수 병목 현상'을 극복하기 위해.
• 통합적이고 학습 가능한, 효율적인 피드포워드 레이어의 적응형 파arameterization 방법을 개발하여 통계적 효율성을 향상시키기 위해.
• 적응형 파arameterization을 순환 신경망(RNN)에 확장하여, 수렴 속도 향상과 일반화 능력 향상을 달성하는 적응형 LSTM을 구축하기 위해.
• 적응형 파arameterization이 하이퍼파rameter 조정에 민감하지 않은 더 강건한 모델을 만들어내는지 검증하기 위해.

제안 방법

• 고정된 가중치 행렬을 입력에 적응하는 매개수로 대체하는 일반적인 적응형 피드포워드 레이어를 제안한다. 이는 학습 가능한 변환 네트워크를 통해 구현된다.
• 가중치 행렬 W를 별도의 네트워크를 통해 입력 x에 조건화함으로써, 입력에 따라 달라지는 애파인 변환을 모델링한다.
• 두 가지 적응 정책을 도입한다: 출력 적응(출력 가중치만 적응)과 입력-출력 적응(입력 및 출력 가중치 모두 적응), 후자가 성능 향상에 기여한다.
• 순환 적응 모델(RNN 기반)을 사용해 적응 매개수를 생성함으로써, 시퀀스 모델링에서 맥락 인식 파arameterization을 가능하게 한다.
• RNN과 HyperNetwork의 장점을 결합한 하이브리드 RNN-하이퍼네트워크(RHN) 구조를 사용해 적응 가중치를 생성함으로써 더 나은 일반화 성능을 달성한다.
• 표준 백프로파게이션을 사용해 전체 모델을 엔드 투 엔드로 훈련하며, 계산 오버헤드는 최소한으로 유지한다.

실험 결과

연구 질문

• RQ1 적응형 파arameterization이 성능을 유사하게 유지하면서도 필요한 매개수를 줄임으로써 피드포워드 네트워크의 통계적 효율성을 크게 향상시킬 수 있는가?
• RQ2 입력에 따라 달라지는 애파인 변환을 학습함으로써 활성화 함수 병목 현상을 극복하고, 고정된 활성화 함수가 허용하는 것 이상의 모델 용량을 확보할 수 있는가?
• RQ3 적응형 파arameterization이 RNN, 특히 LSTMs에 효과적으로 확장되어 시퀀스 모델링 과제에서 수렴 속도 향상과 일반화 능력 향상에 기여할 수 있는가?
• RQ4 하이퍼파arameter 변화에 대한 적응형 LSTMs의 강건성은 표준 LSTMs와 비교해 어떻게 되는가?
• RQ5 언어 모델링 과제에서 적응형 파arameterization이 큰 모델 크기의 필요성을 얼마나 줄일 수 있는가?

주요 결과

• Penn Treebank에서 적응형 LSTM은 테스트 퍼플렉서티를 56.5로 낮추며 약 17M개의 매개수로 상태최적 성능을 달성했고, 표준 LSTMs와 다른 SOTA 모델들을 능가했다.
• WikiText-2에서 적응형 LSTM은 32M개의 매개수로 테스트 퍼플렉서티 64.5를 기록했으며, 33M개 매개수의 awd-lstm와 24M개 매개수의 tg-sc-lstm를 모두 능가했다.
• 적응형 LSTM은 표준 LSTMs보다 반복 횟수의 절반 이내로 수렴하여 더 빠른 훈련 동역학을 보였다.
• 적응형 LSTM은 하이퍼파arameter 변화에 대해 훨씬 더 강건하다: 샘플된 설정 중 0%가 수렴 실패를 보였고, 표준 LSTMs의 경우 25%의 실패율을 보였다.
• 적응형 LSTM의 성능 분포에서 90번째 백분위수는 표준 LSTM의 10번째 백분위수와 일치하며, 더 높은 신뢰성과 안정성을 보여준다.
• 제거 분석 결과, 적응 모델의 선택(예: 순환 대비 피드포워드)과 적응 정책(예: io-적응)이 성능 향상에 크게 기여함을 확인하였고, 이는 적응형 파arameterization의 효과를 검증한다.