[논문 리뷰] Fast Parametric Learning with Activation Memorization

Jack W. Rae, Chris Dyer외 2명|arXiv (Cornell University)|2018. 03. 27.

Multimodal Machine Learning Applications참고 문헌 34인용 수 22

한 줄 요약

이 논문은 히브시안 업데이트 규칙을 사용해 최근 네트워크 활성화를 직접 소프트맥스 레이어 가중치에 기억함으로써 희귀 클래스의 학습을 가속화하는 Hebbian Softmax를 제안한다. 이 방법은 계산 또는 메모리 오버헤드 없이 WikiText-103에서 SOTA 퍼플렉서티 29.2를 달성하고, 이미지 분류에서 새로운 클래스 유형의 유형 바인딩 속도를 높인다.

ABSTRACT

Neural networks trained with backpropagation often struggle to identify classes that have been observed a small number of times. In applications where most class labels are rare, such as language modelling, this can become a performance bottleneck. One potential remedy is to augment the network with a fast-learning non-parametric model which stores recent activations and class labels into an external memory. We explore a simplified architecture where we treat a subset of the model parameters as fast memory stores. This can help retain information over longer time intervals than a traditional memory, and does not require additional space or compute. In the case of image classification, we display faster binding of novel classes on an Omniglot image curriculum task. We also show improved performance for word-based language models on news reports (GigaWord), books (Project Gutenberg) and Wikipedia articles (WikiText-103) --- the latter achieving a state-of-the-art perplexity of 29.2.

연구 동기 및 목표

• 희귀 클래스 학습 속도가 느린 문제를 해결함으로써, 특히 자원이 제한된 또는 긴 꼬리 분포 시나리오에서의 신경망 분류기 성능 향상.
• 희귀 클래스에 대한 매개변수를 정확히 추정하기 위해 많은 예제가 필요한 표준 backpropagation의 한계를 극복함.
• 모델 복잡도 증가 없이도 희귀 또는 새로 도입된 클래스에 대한 데이터 효율성과 초기 표현 품질 향상.
• 외부 메모리나 메타러닝과 같은 복잡한 기법 대신, 단순하고 확장 가능한 방법을 통해 새로운 클래스에 대한 빠른 적응 가능성을 탐색함.
• 최소한의 계산 비용으로 시각 및 언어 모델링 작업 모두에서 효과성을 입증함.

제안 방법

• 표준 경사 하강법과 소프트맥스 레이어 가중치에 대한 히브시안 업데이트 규칙을 조합한 하이브리드 학습 규칙 도입.
• 히브시안 업데이트 적용: 클래스 y가 관측될 경우 활성화 값 h_t에 따라 θ[y] ← θ[y] + h_t 로 업데이트하며, 특히 희귀 클래스에 대해 유리함.
• 클래스가 특정 횟수 이하로만 관측된 경우에만 히브시안 규칙를 적용하고, 이후에는 경사 하강법으로 전환함.
• 최근 활성화를 직접 소프트맥스 가중치 파rameter에 저장 및 누적함으로써, 이는 빠르고 압축된 메모리로 기능함.
• 기존 파rameter에 통합된 업데이트를 통해 추가 메모리나 계산 자원을 사용하지 않음으로써 모델 효율성 유지.
• 최소한의 아키텍처 변경으로 이미지 분류(Omniglot) 및 언어 모델링(GigaWord, Project Gutenberg, WikiText-103)에 모두 적용함.

실험 결과

연구 질문

• RQ1 최근 활성화를 소프트맥스 레이어에 직접 기억함으로써 희귀 클래스 학습 속도 향상이 가능한가?
• RQ2 소수의 샘플 학습 환경에서 제안된 Hebbian Softmax 방법이 표준 backpropagation 및 RMSProp과 같은 적응형 최적화 기법보다 어떻게 성능을 높이는가?
• RQ3 큰 긴 꼬리 분포 어휘를 가진 언어 모델링 작업에서 이 방법이 희귀어에 대해 성능 향상을 이끌 수 있는가?
• RQ4 추가 계산 또는 메모리 자원 없이도 이론적 성능 향상이 유지되는가, 외부 메모리 구성 요소 없이도 성능 향상이 지속되는가?
• RQ5 기존 메모리 메커니즘과 비교해 장기간 동안 활성화 기억이 희귀 클래스의 표현을 얼마나 잘 유지하는가?

주요 결과

• Hebbian Softmax 방법은 언어 모델링 벤치마크인 WikiText-103에서 SOTA 퍼플렉서티 29.2를 달성하며, 강력한 LSTM 기반 모델들을 능가함.
• Omniglot 이미지 분류 작업에서 RMSProp과 같은 적응형 학습률을 사용한 경우보다 새로운 클래스의 유형 바인딩 속도가 빠름.
• 퍼플렉서티 분석 결과, 희귀어에 속하는 단어 버킷에서 뚜렷한 성능 향상이 확인되어 희귀어 및 미리보지 않은 단어의 모델링 능력 향상됨.
• GigaWord(뉴스), Project Gutenberg(책), WikiText-103(위키백과) 등 다양한 코퍼스에서 성능 향상이 관찰되어 광범위한 적용 가능성을 입증함.
• 이 방법은 기존 소프트맥스 파rameter에 직접 활성화를 기억함으로써 추가 메모리나 계산 자원 없이 성과를 달성함.
• 희귀 클래스의 표현이 더 오랜 시간 동안 유지되는 경향이 있음. 외부 메모리 시스템과 달리 더 자주 등장하는 클래스에 의해 기억된 활성화가 대체되지 않기 때문임.