[논문 리뷰] Connecting Weighted Automata and Recurrent Neural Networks through Spectral Learning

Guillaume Rabusseau, Tianyu Li외 1명|arXiv (Cornell University)|2018. 07. 04.

Machine Learning and Algorithms참고 문헌 47인용 수 10

한 줄 요약

이 논문은 가중치가 부여된 유한 오토마타(WFAs)와 선형 활성화 함수를 사용하는 2차 RNN(2-RNNs) 사이의 엄격한 표현 동치성을 확립하며, 선형 2-RNNs가 연속 입력 시퀀스로 일반화된 WFAs임을 보여준다. 이는 연속 입력 시퀀스로부터 모델 파라미터를 추정하기 위해 헨켈 텐서에서 스펙트럴 학습을 활용하는, 선형 2-RNNs에 대한 처음으로 증명 가능하게 일致하는 학습 알고리즘을 제안한다. 이 알고리즘은 낮은 질서의 구조와 텐서 트레인 복원을 활용한다.

ABSTRACT

In this paper, we unravel a fundamental connection between weighted finite automata~(WFAs) and second-order recurrent neural networks~(2-RNNs): in the case of sequences of discrete symbols, WFAs and 2-RNNs with linear activation functions are expressively equivalent. Motivated by this result, we build upon a recent extension of the spectral learning algorithm to vector-valued WFAs and propose the first provable learning algorithm for linear 2-RNNs defined over sequences of continuous input vectors. This algorithm relies on estimating low rank sub-blocks of the so-called Hankel tensor, from which the parameters of a linear 2-RNN can be provably recovered. The performances of the proposed method are assessed in a simulation study.

연구 동기 및 목표

• 가중치가 부여된 유한 오토마타(WFAs)와 선형 활성화 함수를 사용하는 2차 RNN(2-RNNs) 사이의 표현 동치성을 수학적으로 정식화하기.
• 이산 기호 WFAs에서의 스펙트럴 학습을 벡터 값 WFAs와 연속 입력 시퀀스를 갖는 선형 2-RNNs로 확장하기.
• 연속 벡터 시퀀스로부터 학습된 데이터로부터 모델 파라미터를 복원하는 일致성 있고 증명 가능한 선형 2-RNNs 학습 알고리즘 개발하기.
• 기존 스펙트럴 학습 기법이 이론적으로는 이산 입력에만 적용 가능했던 오랜 한계를 해결하기.
• 제안된 방법의 노이즈 및 질서 오설정에 대한 강건성과 샘플 효율성 조사하기.

제안 방법

• 선형 2-RNNs와 벡터 값 WFAs 사이의 동치성을 활용하여, 학습 문제를 낮은 질서의 텐서 복원 문제로 재구성한다.
• 연속 입력 벡터 시퀀스로부터 헨켈 텐서의 낮은 질서 부분 블록을 추정하기 위해 행렬 감지 및 텐서 복원 기법을 사용한다.
• 선형 2-RNNs의 다중선형 구조를 활용하여, 헨켈 부분 블록을 낮은 텐서 트레인(TT) 질서를 갖는 고차원 텐서로 재구성한다.
• 노이즈가 있는 유한한 학습 데이터로부터 낮은 질서의 헨켈 텐서를 복원하기 위해 반복적 강성 임계값 처리(IHT) 및 잘라낸 IHT(TIHT)를 사용한다.
• 초기 스펙트럴 추정치를 향상시키기 위해 확률적 경사 하강법(SGD)을 적용하여 일반화 능력과 성능을 향상시킨다.
• 수치적 안정성 기법을 적용: 모델의 학습 MSE가 영 함수의 MSE를 초과할 경우, 수치적 실패를 방지하기 위해 영 모델을 반환한다.

실험 결과

연구 질문

• RQ1 입력이 이산 기호일 경우, 선형 2-RNNs와 가중치가 부여된 유한 오토마타 사이에 정확한 수학적 동치성이 존재하는가?
• RQ2 WFAs에 대한 스펙트럴 학습 알고리즘이 연속 입력 시퀀스를 처리할 수 있도록 확장될 수 있는가? 이는 이산 알파벳을 넘어서 일반화하는 것이다.
• RQ3 선형 2-RNNs의 헨켈 텐서에 존재하는 낮은 질서의 구조를 활용하여, 연속 입력을 위한 일관된 학습 알고리즘을 설계할 수 있는가?
• RQ4 제안된 알고리즘은 노이즈 및 질서 오설정에 대해 샘플 효율성과 강건성 측면에서 어떻게 성능을 발휘하는가?
• RQ5 초기 스펙트럴 추정치는 SGD를 통한 종단 간 최적화를 통해 향상시킬 수 있으며, 이는 표준 RNNs보다 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 스펙트럴 학습 알고리즘은 노이즈 조건 하에서도 훈련 데이터로부터 목표 함수를 일관되게 복원하며, 훈련 데이터 크기가 증가할수록 성능 향상이 관찰된다.
• IHT 및 TIHT 방법은 다른 복원 방법보다 샘플 효율성이 뛰어나며, 특히 노이즈가 많은 환경에서 그 효과가 뚜렷하다. 이는 낮은 질서의 텐서 구조를 활용하는 데서 비롯된 이점임을 확인한다.
• TIHT는 그 행렬 기반 대응체인 IHT보다 우수한 성능을 보이며, 텐서 트레인 구조를 활용함으로써 추정 정확도 향상이 가능하다는 것을 입증한다.
• TIHT 추정치를 SGD로 정밀 조정함으로써 성능이 일관되게 향상되며, 이는 합성 작업에서 표준 LSTMs와 비교해도 성능이 유사하거나 이를 초월하는 경향이 있다.
• 질서 파rameter를 과도하게 추정할 경우 더 많은 훈련 샘플이 필요하지만 여전히 목표 함수로 수렴 가능하며, 반대로 과소 추정 시 학습 실패가 발생한다.
• 학습 중에 관찰하지 못한 길이를 초월하는 시퀀스로도 성능이 잘 일반화되어, 좋은 인덕티브 바이어스와 일반화 능력을 보여준다.