[논문 리뷰] On the Practical Computational Power of Finite Precision RNNs for Language Recognition

Gail Garfinkel Weiss, Yoav Goldberg외 1명|arXiv (Cornell University)|2018. 05. 13.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 언어 인식에서 유한 정밀도 RNN의 실용적 계산 능력을 조사하며, 게이팅 메커니즘 덕분에 LSTMs와 ReLU 기반 Elman-RNNs가 무한 카운팅을 수행할 수 있음을 보여주며, 반면 GRUs와 압축 활성화 함수를 사용하는 RNNs는 그렇지 못하다. 주요 기여는 LSTMs가 입력 제한과 유한 정밀도 제약 조건 하에서도 $a^n b^n c^n$과 같은 문맥 의존 언어를 인식할 수 있음을 입증하는 것이다. 반면 GRUs는 유한 상태 그대로 유지되어 이러한 작업에 실패한다.

ABSTRACT

While Recurrent Neural Networks (RNNs) are famously known to be Turing complete, this relies on infinite precision in the states and unbounded computation time. We consider the case of RNNs with finite precision whose computation time is linear in the input length. Under these limitations, we show that different RNN variants have different computational power. In particular, we show that the LSTM and the Elman-RNN with ReLU activation are strictly stronger than the RNN with a squashing activation and the GRU. This is achieved because LSTMs and ReLU-RNNs can easily implement counting behavior. We show empirically that the LSTM does indeed learn to effectively use the counting mechanism.

연구 동기 및 목표

• 선형 계산 시간과 32비트 부동소수점 정밀도를 포함한 현실적인 NLP 학습 제약 조건 하에서 유한 정밀도 RNN의 계산 능력을 분석하기 위해.
• LSTM, GRU, ReLU-RNN, 그리고 압축 활성화 함수를 사용하는 RNN과 같은 다양한 RNN 변종이 $a^n b^n c^n$과 같은 문맥 의존 언어를 인식하는 데 있어 능력이 다름을 확인하기 위해.
• 백프로파게이션으로 학습된 RNN이 실질적으로 명시적인 카운팅 메커니즘을 학습하고 활용할 수 있는지, 특히 유한 정밀도 제약 조건 하에서 조사하기 위해.
• 공식적으로, 압축 활성화 함수를 사용하는 SRNN이 보조 차원을 가진다 해도 이중 방향 이진 카운터를 실제로 작동시킬 수 없다는 것을 증명하기 위해.
• 경험적으로 LSTMs가 히든 상태에서 전용 카운팅 차원을 학습하고 사용하는 반면, GRUs와는 다르게 이를 입증하기 위해.

제안 방법

• 연구는 계산 시간이 입력 길이에 비례하고 상태가 32비트 부동소수점 정밀도로 표현되는 입력 제한 유한 정밀도 RNN(IBFP-RNN)에 집중한다.
• 이론적 분석을 통해 tanh와 같은 압축 활성화 함수를 사용하는 Elman-RNNs가 sign-보존 특성과 선형 변환 때문에 이중 방향 이진 카운터를 작동시킬 수 없다는 것을 증명한다.
• 증명은 모순을 이용한다: '업' 입력에서 증가하고 '다운' 입력에서 감소하는 카운터가 존재한다고 가정하면, 편향 차이 $b_{up} - b_{down}$에 대해 충돌하는 부호 요구 조건이 발생하여 선형성 원칙을 위반한다.
• 경험적 평가에서는 LSTMs와 GRUs를 $a^n b^n$ 및 $a^n b^n c^n$ 언어에 대해 학습시키고, 히든 상태 활성화를 시각화하여 LSTMs가 특정 차원을 카운팅에 사용한다는 것을 보여준다.
• ReLU-RNN으로의 분석을 확장하여, 이들이 k-카운터 기계를 모방할 수 있음을 보여주며, 따라서 압축 RNNs보다 계산 능력이 뛰어남을 입증한다.
• LSTM, GRU, ReLU-RNN, 압축 RNN 간의 이론적 및 경험적 비교를 통해, 유한 정밀도 조건 하에서 무한 카운팅을 시뮬레이션하는 능력을 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 백프로파게이션 학습을 거친 유한 정밀도, 입력 제한 RNN이 $a^n b^n c^n$과 같은 문맥 의존 언어를 인식할 수 있는가?
• RQ2 LSTMs와 ReLU-RNNs가 유한 정밀도 제약 조건 하에서 GRUs와 압축 RNNs보다 더 높은 계산 능력을 지닐 수 있는가?
• RQ3 LSTMs가 히든 상태에서 명시적인 카운팅 메커니즘을 학습하고 활용할 수 있는가? 이는 활성화 패턴을 통해 입증되는가?
• RQ4 압축 활성화 함수를 사용하는 Elman-RNN이 보조 차원을 가진다 해도 이중 방향 이진 카운터를 실제로 작동시킬 수 없는가?
• RQ5 LSTMs의 게이팅 메커니즘이 같은 조건 하에서 무한 카운팅을 가능하게 하는 반면, GRUs가 여전히 유한 상태 그대로 유지되는가?

주요 결과

• LSTMs와 ReLU 기반 Elman-RNNs는 유한 정밀도 및 입력 제한 조건 하에서도 무한 카운팅을 수행할 수 있으며, 이는 $a^n b^n c^n$과 같은 문맥 의존 언어를 인식하는 데 기여한다.
• GRUs와 압축 활성화 함수를 사용하는 Elman-RNNs는 tanh 활성화 함수와 선형 변환의 부호 보존 특성 때문에 이중 방향 이진 카운터를 작동시킬 수 없으며, 따라서 유한 상태 그대로 유지된다.
• 경험적 결과는 LSTMs가 $a^n b^n$ 및 $a^n b^n c^n$ 시퀀스에서 활성화 패턴의 명확한 차이를 통해 특정 히든 상태 차원을 카운팅에 할애한다는 것을 보여준다.
• 이론적 분석을 통해, 압축 활성화 함수를 사용하는 어떤 Elman-RNN도 보조 차원을 가진다 해도 일관된 이중 방향 카운터를 작동시킬 수 없다는 것이 입증되었으며, 이는 편향 차이에서 충돌하는 부호 요구 조건 때문이기 때문이다.
• ReLU-RNNs도 LSTMs와 마찬가지로 k-카운터 기계를 모방할 수 있으므로, 압축 RNNs보다 더 높은 계산 능력을 지닌다. 이는 명시적인 게이팅 메커니즘이 없음에도 불구하고 성립한다.
• 이러한 발견들은 LSTMs가 선형화된 파서 트리 처리와 같이 카운팅이 필요한 작업에 특화되어 있음을 시사하며, 이러한 NLP 응용 분야에서의 경험적 성공을 설명할 수 있다.