[논문 리뷰] HyperNetworks

David Ha, Andrew Dai외 1명|arXiv (Cornell University)|2016. 09. 27.

Machine Learning and Data Classification인용 수 86

한 줄 요약

이 논문은 하이퍼넷워크—다른 네트워크(메인 네트워크)의 가중치를 엔드 투 엔드 백프로파게이션을 통해 생성하는 신경망—를 소개한다. 이 방법은 LSTMs에서 동적이고 공유되지 않은 가중치 적응을 가능하게 하여, 문자 수준의 언어 모델링, 수필 생성, 신경 기계 번역에서 최신 기술 수준에 근접한 성능을 달성하면서도 표준 모델보다 학습 가능한 파라미터 수를 줄였다.

ABSTRACT

This work explores hypernetworks: an approach of using a one network, also known as a hypernetwork, to generate the weights for another network. Hypernetworks provide an abstraction that is similar to what is found in nature: the relationship between a genotype - the hypernetwork - and a phenotype - the main network. Though they are also reminiscent of HyperNEAT in evolution, our hypernetworks are trained end-to-end with backpropagation and thus are usually faster. The focus of this work is to make hypernetworks useful for deep convolutional networks and long recurrent networks, where hypernetworks can be viewed as relaxed form of weight-sharing across layers. Our main result is that hypernetworks can generate non-shared weights for LSTM and achieve near state-of-the-art results on a variety of sequence modelling tasks including character-level language modelling, handwriting generation and neural machine translation, challenging the weight-sharing paradigm for recurrent networks. Our results also show that hypernetworks applied to convolutional networks still achieve respectable results for image recognition tasks compared to state-of-the-art baseline models while requiring fewer learnable parameters.

연구 동기 및 목표

• 경량 하이퍼넷워크를 사용하여 순환 및 컨volutional 네트워크에 대해 공유되지 않은 동적 가중치를 생성하는 방법을 개발하는 것.
• 백프로파게이션을 통한 엔드 투 엔드 훈련을 가능하게 하여 진화적 접근 방식보다 효율성을 높이는 것.
• 언어 모델링, 수필 생성, 신경 기계 번역을 포함한 시퀀스 모델링 작업에 하이퍼넷워크를 평가하는 것.
• 하이퍼넷워크가 상태 최신 기술 모델을 능가하거나 근사하면서도 파라미터 수를 줄일 수 있음을 보여주는 것.
• 하이퍼넷워크가 레이어 정규화와 같은 정규화 기법과 어떻게 상호작용하는지 탐색하는 것.

제안 방법

• 하이퍼넷워크는 계층 구조를 나타내는 학습된 임bedding 벡터를 기반으로 메인 네트워크의 가중치 행렬을 생성하도록 훈련된다.
• 하이퍼넷워크는 입력 임베딩(고정 또는 동적으로 생성됨)을 받아 메인 네트워크의 한 계층에 대한 가중치를 생성하며, 이는 순환 네트워크에서 시간에 따라 변화하는 가중치 조정을 가능하게 한다.
• 전체 시스템은 백프로파게이션을 사용하여 엔드 투 엔드로 훈련되며, 메인 네트워크와 하이퍼넷워크를 모두 거쳐 기울기가 흐르도록 한다.
• 순환 네트워크의 경우, 하이퍼넷워크는 시간에 따라 변하는 가중치 조정을 생성하여 메인 LSTM이 추론 중에 자신의 파라미터를 적응시킬 수 있도록 한다.
• 정적 가중치 생성(컨volutional 네트워크용)과 동적 가중치 생성(순환 네트워크용)을 모두 지원하며, 계층 간에 공유 또는 비공유 가중치를 허용한다.
• 배치 정규화 및 레이어 정규화와 같은 정규화 기법과도 호환되지만, 일부 설정에서는 레이어 정규화가 성능에 악영향을 미치는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크는 표준 가중치 공유 LSTMs보다 성능을 향상시키는 비공유 동적 가중치를 생성할 수 있는가?
• RQ2 언어 모델링 및 기계 번역과 같은 시퀀스 모델링 작업에서 하이퍼넷워크의 성능은 최신 기술 모델과 비교해 어떻게 되는가?
• RQ3 하이퍼넷워크는 정확도를 유지하거나 향상시키면서도 학습 가능한 파라미터 수를 줄일 수 있는가?
• RQ4 하이퍼넷워크는 순환 모델에서 레이어 정규화와 같은 정규화 기법과 잘 통합되는가?
• RQ5 하이퍼넷워크는 수필 생성에서 복잡하고 시간에 따라 변화하는 가중치 조정을 효과적으로 모델링할 수 있는가?

주요 결과

• WMT En→Fr에서 HyperLSTM은 테스트 BLEU 점수 40.03을 기록하여 표준 GNMT 모델(38.95)을 능가하고 8개의 LSTM 앙상블(40.35)에 근접한 성능을 보였다.
• Character Penn Treebank 데이터셋에서 HyperLSTM은 로그 퍼플렉서티 1.027을 달성하여 최신 기술 모델과 유사한 성능을 보였다.
• IAM 수필 데이터셋에서 HyperLSTM은 -1162 nats의 로그 손실을 기록하여 표준 LSTM(-1055)과 레이어 정규화 LSTM(-1096)을 모두 능가했다.
• CIFAR-10 이미지 분류 작업에서 하이퍼넷워크는 깊은 CNN에 대한 가중치를 생성했으며, 기준 모델보다 훨씬 적은 학습 가능한 파라미터로 우수한 정확도를 달성했다.
• 하이퍼넷워크의 가중치 적응은 특히 단어와 문자 사이에서의 이산적 전이 상태 변화를 보이며, 부드럽지 않은, 맥락에 민감한 조정을 한다는 점이 밝혀졌다.
• 표준 LSTMs에서 레이어 정규화의 이점에도 불구하고, 이는 HyperLSTM과 잘 조화되지 않았으며, 가장 우수한 성능을 보인 HyperLSTM 모델은 정규화를 사용하지 않았다.