[논문 리뷰] Cells in Multidimensional Recurrent Neural Networks

Gundram Leifert, Tobias Strauß외 2명|arXiv (Cornell University)|2014. 12. 08.

Neural Networks and Applications참고 문헌 6인용 수 7

한 줄 요약

이 논문은 LSTM 아키텍처에서 유도된 새로운 다차원 순환 신경망(MDRNN) 셀을 제안하여 고차원에서의 안정성과 장기 의존성 학습을 향상시킨다. 선형 이동 불변 시스템 이론을 활용하여 저자들은 다섯 가지 새로운 셀 유형을 설계하였으며, LeakyLP 셀은 IFN/ENIT 및 RIMES 데이터셋에서 표준 LSTM 셀을 능가하는 뛰어난 수준의 수기 인식 성능을 달성하였다.

ABSTRACT

The transcription of handwritten text on images is one task in machine learning and one solution to solve it is using multi-dimensional recurrent neural networks (MDRNN) with connectionist temporal classification (CTC). The RNNs can contain special units, the long short-term memory (LSTM) cells. They are able to learn long term dependencies but they get unstable when the dimension is chosen greater than one. We defined some useful and necessary properties for the one-dimensional LSTM cell and extend them in the multi-dimensional case. Thereby we introduce several new cells with better stability. We present a method to design cells using the theory of linear shift invariant systems. The new cells are compared to the LSTM cell on the IFN/ENIT and Rimes database, where we can improve the recognition rate compared to the LSTM cell. So each application where the LSTM cells in MDRNNs are used could be improved by substituting them by the new developed cells.

연구 동기 및 목표

• 일차원을 초월한 다차원 LSTM(MDLSTM) 셀에서 발생하는 불안정성과 기울기 소실 문제를 해결하기 위해.
• 순환 셀에서 안정적인 장기 의존성 학습을 위한 기본 성질을 정의하기 위해.
• 고차원에서 기울기 폭주 없이 장기 기억을 유지하는 새로운 MDRNN 셀 아키텍처를 개발하기 위해.
• 표준 LSTM 셀을 새로운 더 안정적인 셀 유형으로 대체하여 수기 인식 작업의 인식 정확도를 향상시키기 위해.

제안 방법

• 1D LSTM 셀에 대해 안정적인 장기 의존성과 유계 기울기 흐름이라는 두 가지 핵심 성질을 정의하고 이를 다차원 사례로 확장하기 위해.
• 내부 상태 성장과 기울기 폭주를 방지하기 위해 MD LSTM 아키텍처를 수정하여 입력과 이전 상태의 학습 가능한 볼록 조합을 사용하기 위해.
• 선형 이동 불변 시스템 이론과 주파수 도메인 분석을 적용하여 MDRNN 셀 설계를 위한 일반적 프레임워크를 유도하기 위해.
• 시스템 이론적 원칙에 기반해 게이트 메커니즘과 상태 갱신 규칙을 재구성하여 다섯 가지 새로운 셀 유형(예: LeakyLP, Type E)을 구성하기 위해.
• 수기 인식 작업에서 시퀀스 모델링을 위해 연결주의적 시간 분류(CTC)를 사용하기 위해.
• IFN/ENIT 및 RIMES 데이터셋에서 새로운 셀을 갖춘 MDRNN을 훈련하고 평가하여 표준 LSTM 셀과의 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 다차원 RNN에서 안정적인 장기 의존성을 유지하기 위해 순환 셀이 가져야 할 필수 성질은 무엇인가요?
• RQ2 왜 표준 MD LSTM 셀은 차원이 1을 초월할 경우 불안정해지나요?
• RQ3 선형 시스템 이론을 어떻게 활용하여 더 안정적이고 효과적인 MDRNN 셀을 설계할 수 있나요?
• RQ4 새로운 셀 아키텍처는 표준 LSTM 셀에 비해 수기 인식 작업의 인식 정확도를 향상시킬 수 있나요?
• RQ5 제안된 셀 유형 중 어느 것이 다차원 시퀀스 모델링에서 가장 높은 성능을 달성합니까?

주요 결과

• LeakyLP 셀은 IFN/ENIT 및 RIMES 데이터셋에서 모두 가장 높은 인식 정확도를 기록하여 표준 LSTM 셀을 능가하였다.
• IFN/ENIT 데이터셋에서 새로운 셀들은 기준 LSTM 셀 대비 오차율을 감소시켜 일반화 능력 향상을 입증하였다.
• RIMES 데이터셋에서 새로운 셀들은 표준 LSTM 셀보다 낮은 단어 오차율을 달성하여 일관된 성능 향상을 확인하였다.
• 이론적 분석을 통해 새로운 셀들이 다차원 환경에서도 안정적인 기울기 흐름을 유지하고 기울기 폭주를 방지함을 확인하였다.
• 주파수 응답 분석을 통해 새로운 셀들이 고전적 제어 시스템(예: PI, PD, PID)을 모방할 수 있음을 확인하였으며, 이는 해석 가능성과 안정성 향상을 제공하였다.
• 제안된 방법은 수기 인식 이외에도 다른 시퀀스 모델링 작업에 적용 가능한 안정적이고 높은 성능을 보이는 MDRNN 셀 설계를 가능하게 하였다.