[논문 리뷰] Surprisal-Driven Feedback in Recurrent Networks

Kamil Rocki|arXiv (Cornell University)|2016. 08. 22.

Topic Modeling참고 문헌 4인용 수 6

한 줄 요약

이 논문은 순환 신경망에서 예측 오차(놀라움, surprisal)를 피드백 신호로 사용하는 놀라움 기반 피드백(feedback)을 도입한다. 과거 예측과 실제 관측치 간의 예측 오차(놀라움)는 향후 예측을 향상시키기 위한 피드백 신호로 활용된다. 추론 중에 이 오차 신호를 장기 숏텀 메모리(LSTM) 네트워크에 통합함으로써, enwik8 문자 수준 예측 작업에서 1.37 비트 매 문자(BPC)를 달성하였으며, 명시적 정규화 없이도 최신의 결정론적 및 확률적 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Recurrent neural nets are widely used for predicting temporal data. Their inherent deep feedforward structure allows learning complex sequential patterns. It is believed that top-down feedback might be an important missing ingredient which in theory could help disambiguate similar patterns depending on broader context. In this paper we introduce surprisal-driven recurrent networks, which take into account past error information when making new predictions. This is achieved by continuously monitoring the discrepancy between most recent predictions and the actual observations. Furthermore, we show that it outperforms other stochastic and fully deterministic approaches on enwik8 character level prediction task achieving 1.37 BPC on the test portion of the text.

연구 동기 및 목표

• 과거 예측과 실제 관측치 사이의 예측 오차(놀라움)가 순환 신경망의 추론 과정에서 의미 있는 피드백 신호로 기능할 수 있는지 조사하는 것.
• LSTM의 은닉 상태 갱신에 시간적 오차 정보를 통합하여 시계열 모델링의 일반화 성능을 향상시키는 것.
• 예측-관측치 간 불일치에 기반한 피드백이 표준 RNN 및 최신 아키텍처보다 문자 수준 언어 모델링에서 뛰어난 성능을 낼 수 있는지 보여주는 것.
• 지역적 오차 신호만을 사용하여 생물학적으로 타당한 상향 피드백 메커니즘을 탐색하는 것.

제안 방법

• 모델은 시간 $ t-1 $에서의 예측 분포를 바탕으로 진짜 토큰의 음의 로그 확률로 정의된 피드백 신호 $ s_t $ 를 도입한다. 이는 예측 놀라움을 나타낸다.
• 이 $ s_t $ 는 학습 가능한 가중치 행렬 $ V $ 를 통과하여 LSTM 은닉 상태 갱신에 표준 입력과 순환 연결과 함께 추가 입력으로 사용된다.
• 표준 LSTM에 추가로 피드백 경로를 통합한 아키텍처로, $ h_t = \tanh(W x_t + U h_{t-1} + V s_t + b) $ 를 통해 오차 기반 상태 전이를 가능하게 한다.
• 뒤로 퍼지기 전파(Backpropagation through time, BPTT)는 놀라움 신호 $ s_t $ 를 통해 역전파되도록 수정되어 피드백 가중치 $ V $ 의 엔드 투 엔드 학습이 가능해진다.
• 시퀀스 길이 100, 배치 크기 128, 학습률 0.001로 Adagrad 최적화를 사용한 절삭된 BPTT를 적용한다.
• 피드백 메커니즘은 표준 RNN과 달리 학습 후 오차 신호를 폐기하지 않고 추론 중에도 작동한다.

실험 결과

연구 질문

• RQ1 과거 예측과 실제 관측치 사이의 예측 오차(놀라움)가 순환 신경망의 추론 과정에서 유용한 피드백 신호로 기능할 수 있는가?
• RQ2 놀라움을 피드백 신호로 통합하면 시계열 모델링 작업에서 일반화 및 예측 정확도가 향상되는가?
• RQ3 놀라움 기반 피드백는 고층 표현 기반 피드백 메커니즘과 비교해 어떻게 성능을 낼 수 있는가?
• RQ4 지역 예측 오차만을 기반으로 하는 피드백 메커니즘이 명시적 정규화 없이도 최신 모델보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 피드백 LSTM 모델은 enwik8 문자 수준 예측 작업에서 1.37 비트 매 문자(BPC)를 달성하여 새로운 최고 기록을 수립하였다.
• 그리드 LSTM(1.47 BPC), 표준 LSTM(1.45 BPC), 하이퍼네트워크(1.38 BPC)를 포함한 모든 결정론적 및 확률적 접근 방식보다 뛰어난 성능을 보였다.
• 명시적 정규화 없이도 피드백 메커니즘이 일반화 성능을 향상시켰음을 테스트 데이터 성능을 통해 입증하였다.
• 스택드 또는 계층적 아키텍처가 필요 없이 단일 LSTM 레이어 내에서 피드백 메커니즘이 효과적으로 작동함을 입증하였다.
• 학습 후 폐기되던 예측 오차가 적절히 통합되면 추론 중에 유용한 신호가 될 수 있음을 보여주었다.