[논문 리뷰] Gated Orthogonal Recurrent Units: On Learning to Forget

Jing Li, Çaǧlar Gülçehre외 5명|arXiv (Cornell University)|2017. 06. 08.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 안정적인 장기 기억을 위해 직교 행렬을 사용하고, 효과적인 잊기 기능을 가능하게 하는 학습 가능한 게이팅 메커니즘을 결합한 새로운 RNN 아키텍처인 게이팅 직교 순환 유닛(GORU)을 소개한다. GRU 스타일의 게이팅 메커니즘과 직교 전이를 통합함으로써, GORU는 bAbI QA, 펜 트리뱅크, TIMIT, 그리고 합성 작업을 포함한 장기 의존성 작업에서 LSTMs, GRUs, 유니터리 RNN보다 뛰어난 성능을 보이며, 기억 및 잊기 능력 측면에서 뛰어난 성능을 입증한다.

ABSTRACT

We present a novel recurrent neural network (RNN) based model that combines the remembering ability of unitary RNNs with the ability of gated RNNs to effectively forget redundant/irrelevant information in its memory. We achieve this by extending unitary RNNs with a gating mechanism. Our model is able to outperform LSTMs, GRUs and Unitary RNNs on several long-term dependency benchmark tasks. We empirically both show the orthogonal/unitary RNNs lack the ability to forget and also the ability of GORU to simultaneously remember long term dependencies while forgetting irrelevant information. This plays an important role in recurrent neural networks. We provide competitive results along with an analysis of our model on many natural sequential tasks including the bAbI Question Answering, TIMIT speech spectrum prediction, Penn TreeBank, and synthetic tasks that involve long-term dependencies such as algorithmic, parenthesis, denoising and copying tasks.

연구 동기 및 목표

• 유니터리 및 직교 RNN의 비효율적인 무관하거나 노이즈가 많은 정보를 잊지 못하는 한계를 해결하기 위해.
• 직교 행렬의 기울기 안정성과 GRU와 같은 게이팅 메커니즘의 선택적 기억 제어 기능을 통합하기 위해.
• 장기 의존성을 동시에 파악하고, 불필요하거나 노이즈가 있는 입력을 제거할 수 있는 모델을 개발하기 위해.
• 직교 RNN이 효과적인 잊기 메커니즘을 갖추지 못함을 경험적으로 검증하고, GORU가 이 한계를 극복함을 입증하기 위해.
• 장기 기억과 관련 정보에 대한 선택적 주의가 요구되는 벤치마크 작업에서 뛰어난 성능을 보임을 보여주기 위해.

제안 방법

• 장기 시퀀스에서 기울기 흐름을 유지하기 위해 GRU의 리셋 게이트 경로의 은닉 상태 간 가중치 행렬을 직교 행렬로 대체한다.
• 게이팅 업데이트 경로에서 비선형성을 유지하면서도 직교성을 유지하기 위해 modReLU 활성화 함수를 사용한다.
• GRU에서 영감을 얻어 은닉 상태에 대한 정보 유입을 제어하기 위해 학습 가능한 업데이트 및 리셋 게이팅을 도입한다.
• 가중치 감소와 배치 정규화를 유지하면서 표준 최적화(예: RMSProp, Adam)를 사용하여 모델을 훈련하고, 매개변수화를 통해 직교 제약 조건을 유지한다.
• 훈련 중에 직교성을 강제하기 위해 하우스홀더 반사 또는 케일리 변환을 사용한 미분 가능 직교 행렬 매개변수화를 구현한다.
• 실제 세계 및 합성 순차 작업에 대해 모델을 평가하고, LSTMs, GRUs, EURNN과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 직교 RNN은 순차 데이터에서 무관하거나 노이즈가 많은 정보를 효과적으로 잊을 수 있는가?
• RQ2 게이팅 메커니즘과 직교 전이를 조합함으로써, 표준 RNN 및 유니터리 RNN보다 장기 의존성 작업에서 성능 향상을 이룰 수 있는가?
• RQ3 노이즈 제거 및 복사 작업과 같이 잊기 기능이 핵심적인 작업에서 GORU는 어떻게 성능을 내는가?
• RQ4 bAbI, 펜 트리뱅크, TIMIT와 같은 벤치마크에서 GRU, LSTM, EURNN과 같은 기존 모델보다 GORU가 뛰어난 성능을 보일 수 있는가?
• RQ5 각 게이팅 구성요소(리셋 및 업데이트 게이팅)가 GORU의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• bAbI 질문-답변 벤치마크에서 GORU는 평균 테스트 정확도 60.4%를 기록하여 GRU(58.2%), LSTM(56.0%), EURNN(52.9%)를 모두 앞서며 최고 성능을 기록했다.
• 펜 트리뱅크 문자 수준 언어 모델링 작업에서 GORU는 1.623 비트/문자의 성능을 기록하여 EURNN(1.715)보다 뛰어나고, LSTM 및 GRU와 유사한 성능를 보였다.
• TIMIT 데이터셋에서 음성 스펙트럼 예측 작업에서 GORU는 테스트 세트 평균 제곱오차(MSE) 47.6을 기록하여 LSTM(57.5), GRU(57.3), EURNN(51.9)를 모두 앞서며 더 적은 파라미터로도 뛰어난 성능을 보였다.
• 합성 노이즈 제거 작업에서 유니터리 RNN은 치명적인 실패를 겪었지만, GORU는 노이즈를 효과적으로 걸러내는 데 성공하여 잊기 능력을 입증했다.
• 절단 실험 결과, GORU의 리셋 게이팅 또는 업데이트 게이팅을 비활성화할 경우 성능이 크게 하락함(각각 1.722 및 1.754 bpc), 이는 양쪽 게이팅이 모두 필수적임을 확인한다.
• 시험된 모델들 중에서 GORU만이 복사 작업과 노이즈 제거 작업을 모두 성공적으로 해결했으며, 이는 균형 잡힌 기억 및 잊기 메커니즘을 가짐을 강조한다.