[논문 리뷰] State-Regularized Recurrent Neural Networks

Cheng Wang, Mathias Niepert|arXiv (Cornell University)|2019. 01. 25.

Machine Learning and Algorithms참고 문헌 61인용 수 9

한 줄 요약

이 논문은 상태 정규화된 순환 신경망(sR-RNNs)을 제안하며, 유한한 학습 가능한 상태 집합으로 은닉 상태를 제약하는 확률적 상태 전이 메커니즘을 사용하여 해석 가능성과 장기 기억 능력을 향상시킨다. 이 방법은 훈련된 모델에서 결정적 유한 상태 기계(DFAs)를 정확하게 추출할 수 있게 하며, 균형 잡힌 괄호 및 복사 작업과 같은 작업에서 은닉 상태에서 셀 상태로 기억 전이를 통해 외삽 성능을 향상시킨다.

ABSTRACT

Recurrent neural networks are a widely used class of neural architectures. They have, however, two shortcomings. First, it is difficult to understand what exactly they learn. Second, they tend to work poorly on sequences requiring long-term memorization, despite having this capacity in principle. We aim to address both shortcomings with a class of recurrent networks that use a stochastic state transition mechanism between cell applications. This mechanism, which we term state-regularization, makes RNNs transition between a finite set of learnable states. We evaluate state-regularized RNNs on (1) regular languages for the purpose of automata extraction; (2) nonregular languages such as balanced parentheses, palindromes, and the copy task where external memory is required; and (3) real-word sequence learning tasks for sentiment analysis, visual object recognition, and language modeling. We show that state-regularization (a) simplifies the extraction of finite state automata modeling an RNN's state transition dynamics; (b) forces RNNs to operate more like automata with external memory and less like finite state machines; (c) makes RNNs have better interpretability and explainability.

연구 동기 및 목표

• 장기 시퀀스 작업에서 표준 RNN의 낮은 해석 가능성과 제한된 외삽 성능을 개선하기 위해.
• 훈련된 RNN에서의 유한 상태 기계(DFA) 추출을 단순화하고 정확도를 향상시키기 위해.
• 은닉 상태에 대한 기억 의존도를 줄이고 표현 능력을 셀 상태로 이관하기 위해.
• 외부 기억을 가진 기계처럼 행동하도록 RNN을 설계하여 유한 상태 기계와의 유사성을 줄이기 위해.
• 실제 시퀀스 작업에서 성능을 희생시키지 않으면서 모델의 설명 가능성을 향상시키기 위해.

제안 방법

• 기본 셀 응용 간의 확률적 전이를 모델링하는 유한한 학습 가능한 상태 집합에서의 확률적 전이를 구현하는 스토케스틱 상태 전이 메커니즘을 도입한다.
• 엔드 투 엔드 미분 가능 최적화를 사용하여 기초 RNN 파라미터와 함께 상태 전이 파라미터를 동시에 훈련시킨다.
• 은닉 상태의 중심 기반 클러스터링을 사용하여 이산 상태를 정의함으로써, 학습된 동역학에서 직접 DFA를 추출할 수 있도록 한다.
• LSTM과 GRU에 상태 정규화를 적용하여 은닉 상태 업데이트를 사전에 정의된 상태 간 전이를 선호하도록 수정한다.
• 현재 상태와 입력을 다음 상태 분포로 매핑하는 확률적 전이 함수를 활용하여, 확률적이지만 구조화된 상태 진동을 가능하게 한다.
• 후행 클러스터링 방법과 달리, RNN의 상태 전이 행동을 충실하게 모델링하는 정확한 결정적 유한 상태 기계(DFAs)의 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 상태 정규화된 RNNs는 훈련된 모델에서 더 정확하고 직접적인 유한 상태 기계 추출을 가능하게 하는가?
• RQ2 상태 정규화는 기억이 필요한 장기 시퀀스 작업에서 일반화 및 외삽 성능을 향상시키는가?
• RQ3 상태 정규화는 LSTMs에서 은닉 상태에서 셀 상태로의 기억 전이 정도를 어느 정도 증가시키는가?
• RQ4 스토케스틱 상태 전이 메커니즘이 모델의 해석 가능성과 설명 가능성에 어떤 영향을 미치는가?
• RQ5 sr-RNNs는 더 해석 가능하면서도 실제 NLP 및 비전 작업에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 상태 정규화된 LSTMs는 은닉 상태에서 셀 상태로 완전히 기억 전이를 이룹니다. 이는 비구조적 기억을 줄이는 데 기여합니다.
• 이 방법은 후행 훈련 클러스터링 방법과 달리, RNN의 상태 전이 동역학을 충실하게 모델링하는 정확한 결정적 유한 상태 기계(DFAs)의 추출을 가능하게 합니다.
• sr-RNNs는 균형 잡힌 괄호, 팰린드롬, 복사 작업과 같은 합성 작업에서 뚜렷하게 향상된 외삽 성능를 보입니다.
• 감성 분석 및 언어 모델링과 같은 실제 작업에서, sr-RNNs는 개선된 해석 가능성과 함께 경쟁적인 성능를 달성합니다.
• sr-RNNs의 계산 오버헤드는 낮지만, 훈련 시간은 여전히 높고, 수렴 속도는 일관되게 향상되지 않습니다.
• 이 접근법은 RNN이 외부 기억을 가진 기계처럼 행동하도록 만들어, 기존의 유한 상태 기계처럼 행동하는 경향을 줄입니다.