[논문 리뷰] Hessian-free Optimization for Learning Deep Multidimensional Recurrent Neural Networks

Minhyung Cho, Chandra Dhir외 1명|arXiv (Cornell University)|2015. 09. 11.

Neural Networks and Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 연결주의적 시간 분류(CTC)를 사용한 깊이 있는 다차원 순환 신경망(MDRNN) 학습을 위해 헤시안 프리(HF) 최적화를 제안하며, CTC의 비凸성 문제를 볼록 근사화를 통해 극복한다. 이 방법은 15층에 이르는 MDRNN의 성공적인 학습을 가능하게 하여 오프라인 수기 인식 및 음소 인식 분야에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 더 깊은 아키텍처에서 SGD보다 뚜렷한 정확도 향상을 보인다.

ABSTRACT

Multidimensional recurrent neural networks (MDRNNs) have shown a remarkable performance in the area of speech and handwriting recognition. The performance of an MDRNN is improved by further increasing its depth, and the difficulty of learning the deeper network is overcome by using Hessian-free (HF) optimization. Given that connectionist temporal classification (CTC) is utilized as an objective of learning an MDRNN for sequence labeling, the non-convexity of CTC poses a problem when applying HF to the network. As a solution, a convex approximation of CTC is formulated and its relationship with the EM algorithm and the Fisher information matrix is discussed. An MDRNN up to a depth of 15 layers is successfully trained using HF, resulting in an improved performance for sequence labeling.

연구 동기 및 목표

• 이전 방법이 제한되어 있던 5층을 초월하는 깊이 있는 MDRNN 학습을 가능하게 하기 위해.
• 시퀀스 레이블링에서 비凸인 CTC 손실에 헤시안 프리 최적화를 적용하는 데 도전하는 것.
• HF 최적화와 호환되며 EM 알고리즘과 피셔 정보 행렬과 연결되는 CTC의 볼록 근사화를 개발하기 위해.
• HF 최적화가 깊이 있는 MDRNN의 시퀀스 인식 작업에 효과적인지 경험적으로 검증하기 위해.
• HF로 학습된 더 깊은 MDRNN 모델이 얕은 모델과 SGD 기반 모델보다 우수한 성능을 보이는지 보여주기 위해.

제안 방법

• 비凸인 CTC 목표 함수의 볼록 근사화를 수립하여 헤시안 프리 최적화를 가능하게 하기 위해.
• 손실의 국소 2차 근사화를 반복적으로 최소화하기 위해 HF 최적화 내에서 공액 기울기 방법을 사용하기 위해.
• 볼록 CTC 근사화를 헤시안 프리 프레임워크와 통합하여 2차 최적화와의 호환성을 확보하기 위해.
• LSTM 유닛을 사용한 MDRNN에 적용하여 깊이 있는 맥락 모델링을 위해 최대 15층까지 스택하기 위해.
• 수렴 안정성을 확보하기 위해 보수적인 정지 기준과 가중치 클리핑을 사용하기 위해.
• 수기 및 음소 인식 데이터셋에서 다양한 깊이 설정에 대해 HF 최적화와 SGD를 비교하기 위해.

실험 결과

연구 질문

• RQ1 비凸인 CTC 손실을 가진 깊이 있는 MDRNN 학습에 헤시안 프리 최적화가 성공적으로 적용될 수 있는가?
• RQ2 제안된 CTC의 볼록 근사화는 EM 알고리즘과 피셔 정보 행렬과 어떤 관계가 있는가?
• RQ3 HF 최적화로 학습할 경우 5층을 초월하는 MDRNN의 깊이를 늘일수록 성능 향상이 이루어지는가?
• RQ4 깊이 있는 MDRNN에서 HF 최적화는 성능과 수렴 속도 측면에서 SGD보다 어떻게 비교되는가?
• RQ5 HF 최적화로 시퀀스 레이블링 작업을 수행할 때 MDRNN의 최적의 깊이와 아키텍처는 무엇인가?

주요 결과

• 헤시안 프리 최적화를 사용한 15층 MDRNN은 아랍어 오프라인 수기 인식에서 레이블 오류율 5.69%를 기록하여 SGD보다 뚜렷이 뛰어난 성능을 보였다.
• TIMIT 음소 인식에서 HF 최적화된 15층 MDRNN은 음소 오류율 18.54%를 기록하여 이전에 얕은 네트워크로 달성한 최신 기술 수준 결과와 유사한 성능을 보였다.
• 깊이가 증가할수록 HF와 SGD 간의 성능 격차가 커져, HF가 특히 더 깊은 MDRNN에 효과적임을 보여주었다.
• CTC의 볼록 근사화가 이론적으로 EM 알고리즘과 피셔 정보 행렬과 연결되어 있음을 입증하여 그 타당성을 뒷받침하였다.
• 이 방법은 MDRNN의 15층까지의 안정적 학습을 가능하게 하여, 깊이 있는 아키텍처가 HF 최적화와 결합될 경우 실현 가능하고 유익함을 입증하였다.
• 수기 인식에서 HF를 사용할 경우, 레이어 수가 3층일 때 오류율 6.10%에서 13층일 때 4.50%로 감소하여, HF 최적화 시 깊이의 이점이 뚜렷하게 드러났다.