[논문 리뷰] SLIM LSTMs

Fathi M. Salem|arXiv (Cornell University)|2018. 12. 29.

Neural Networks and Applications참고 문헌 4인용 수 6

한 줄 요약

이 논문은 표준 LSTMs와 유사한 검증 정확도를 유지하면서도 부서지기 쉬운 구성 요소—예를 들어 공유 가중치와 편향 벡터—를 강하게 제거함으로써 모델 복잡성을 줄이는 데에 높은 파라미터 효율성을 갖춘 LSTM 변종인 SLIM LSTMs를 소개한다. 이 방법은 성능을 희생시키지 않은 채 구조적 단순화를 통해 상당한 계산적 절감과 학습 속도 향상을 달성한다.

ABSTRACT

Long Short-Term Memory (LSTM) Recurrent Neural networks (RNNs) rely on gating signals, each driven by a function of a weighted sum of at least 3 components: (i) one of an adaptive weight matrix multiplied by the incoming external input vector sequence, (ii) one adaptive weight matrix multiplied by the previous memory/state vector, and (iii) one adaptive bias vector. In effect, they augment the simple Recurrent Neural Networks (sRNNs) structure with the addition of a memory cell and the incorporation of at most 3 gating signals. The standard LSTM structure and components encompass redundancy and overly increased parameterization. In this paper, we systemically introduce variants of the LSTM RNNs, referred to as SLIM LSTMs. These variants express aggressively reduced parameterizations to achieve computational saving and/or speedup in (training) performance---while necessarily retaining (validation accuracy) performance comparable to the standard LSTM RNN.

연구 동기 및 목표

• 표준 장기 단기 기억(LSTM) 네트워크에서 과도한 파라미터화와 중복성을 해결하기 위해.
• 모델 성능을 떨어뜨리지 않고 계산 비용을 줄이고 학습 속도를 높이기 위해.
• LSTM의 본질적 기능을 유지하는 최소한의 아키텍처 구성 요소를 체계적으로 탐색하기 위해.
• 강력한 파라미터 감소 기능을 갖춘 경량 LSTM 변종—SLIM LSTMs—를 개발하기 위해.

제안 방법

• 표준 LSTMs에서 공유 가중치 행렬과 편향 벡터와 같은 중복 구성 요소를 제거하여 파라미터 수를 줄인다.
• 중복된 가중치 합산을 제거하고 입력, 은닉 상태 및 편향 구성 요소 중 필수 요소만 유지함으로써 게이팅 메커니즘을 재구성한다.
• 메모리 셀과 시퀀스 모델링에 필요한 게이팅 논리를 유지하면서도 적은 수의 적응형 파라미터를 사용하도록 아키텍처를 재구성한다.
• 각 게이팅 링크당 학습된 파라미터 수를 최소화하는 데 초점을 두며, 가능한 한 희소성과 공유 계산을 선호한다.
• 결과적으로 유도된 SLIM LSTM 변종는 원래 LSTM 프레임워크에 최소한의 아키텍처 변경을 가하여 표준 백프로파게이션으로 훈련된다.

실험 결과

연구 질문

• RQ1 검증 정확도를 훼손하지 않고 LSTM 모델을 상당히 단순화할 수 있는가?
• RQ2 시퀀스 모델링 과제에서 LSTM 성능을 유지하기 위해 필요한 최소한의 구성 요소 집합은 무엇인가?
• RQ3 성능 저하가 발생하기 전까지 얼마나 많은 파라미터 감소가 가능할 수 있는가?
• RQ4 구조적 정리(프루닝)를 통해 학습 속도와 추론 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• SLIM LSTMs는 표준 LSTMs와 비교해 상당한 파라미터 감소를 달성하면서도 유사한 검증 정확도를 유지한다.
• 제안된 변종들은 계산 복잡도 감소로 인해 더 빠른 학습 시간을 보인다.
• 모델 성능을 떨어뜨리지 않고도 중복된 가중치 행렬과 편향 벡터를 성공적으로 제거한다.
• 감소된 파라미터 수에도 불구하고 간소화된 아키텍처는 표준 LSTMs의 핵심 시퀀스 학습 능력을 유지한다.