[논문 리뷰] Recurrent Neural Networks as Weighted Language Recognizers

Yining Chen, Sorcha Gilroy외 3명|arXiv (Cornell University)|2017. 11. 15.

Natural Language Processing Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 자연어처리(NLP)에서 널리 사용되는 단일층 ReLU 활성화, 유리수 가중치를 가진 RNN과 소프트맥스 출력을 갖는 모델에서 기본 문제들—일致성, 동치성, 최소화, 최고 가중치 문자열 식별—의 계산 복잡도를 조사한다. 대부분의 문제들이 RNN의 Turning 완전성으로 인해 결정 불가능하다는 것을 증명하지만, 일치성과 다항 길이 제약 조건 하에서 최고 가중치 문자열 문제는 NP-완전성과 APX-난이도를 가지며, 이는 실무에서 휴리스틱 근사 방법을 사용하는 것이 타당함을 뒷받침한다.

ABSTRACT

We investigate the computational complexity of various problems for simple recurrent neural networks (RNNs) as formal models for recognizing weighted languages. We focus on the single-layer, ReLU-activation, rational-weight RNNs with softmax, which are commonly used in natural language processing applications. We show that most problems for such RNNs are undecidable, including consistency, equivalence, minimization, and the determination of the highest-weighted string. However, for consistent RNNs the last problem becomes decidable, although the solution length can surpass all computable bounds. If additionally the string is limited to polynomial length, the problem becomes NP-complete and APX-hard. In summary, this shows that approximations and heuristic algorithms are necessary in practical applications of those RNNs.

연구 동기 및 목표

• RNN 기반 가중치 언어 인식에서 핵심 문제들의 계산 복잡도를 분석하기.
• 일반적으로 NLP에서 사용되는 표준 RNN에 대해 일치성, 동치성, 최소화, 최고 가중치 문자열 식별과 같은 기본 작업들이 결정 가능하거나 다항 시간 내에 해결 가능한지 여부를 규명하기.
• RNN에 대한 정확한 알고리즘의 이론적 한계를 설정하여 실무에서 근사 및 휴리스틱 방법의 사용을 촉진하기.

제안 방법

• 단일층 ReLU 활성화, 유리수 가중치, 소프트맥스 출력을 갖는 RNN을 가중치 언어 인식기로 공식화하기.
• 정지 문제를 감소시켜 RNN에서 일치성, 동치성, 최소화 문제의 결정 불가능성을 증명하기.
• 튜링 기계를 시뮬레이션하는 RNN을 구성하여 결정 불가능 문제로부터의 감소를 통한 결정 불가능성 증명하기.
• 일치성과 다항 길이 제약 조건 하에서 최고 가중치 문자열 문제를 분석하여 NP-완전성과 APX-난이도를 확립하기.
• RNN이 문자열에 실수 가중치를 할당하는 가중치 언어 모델을 사용하며, 총 가중치는 토큰 예측의 곱으로 계산된다.
• 기존의 결정 불가능 문제(예: 정지 문제)와 복잡도 클래스(예: NP-완전성)로부터의 감소를 적용하여 이론적 한계를 설정하기.

실험 결과

연구 질문

• RQ1 RNN이 계산한 가중치 언어의 일치성은 결정 가능한가?
• RQ2 RNN이 인식하는 가중치 언어에서 최고 가중치 문자열을 정확하고 효율적으로 계산할 수 있는가?
• RQ3 두 RNN 간의 동치성—즉, 모든 문자열에 대해 동일한 가중치를 할당하는가—는 결정 가능한가?
• RQ4 RNN의 은닉 뉴런 수를 정확하게 최소화할 수 있는가, 그러나 언어 인식 행동은 유지되어야 하는가?
• RQ5 해결 길이가 다항식으로 제한될 때 최고 가중치 문자열을 찾는 계산 복잡도는 무엇인가?

주요 결과

• RNN이 계산한 가중치 언어의 일치성은 결정 불가능하다. 즉, 모든 문자열에 대한 총 가중치 합이 1이 되는지 검증할 수 있는 알고리즘이 존재하지 않는다.
• 두 RNN 간의 동치성은 결정 불가능하다. 이는 정지 문제로 감소되기 때문이다.
• RNN의 은닉 뉴런 수 최소화 문제 역시 결정 불가능하다. 유리수 가중치와 ReLU 활성화 조건 하에서도 마찬가지다.
• 일치성이 보장된 RNN의 경우 최고 가중치 문자열 문제는 결정 가능하지만, 그 해의 길이는 어떤 계산 가능한 상한을 초과할 수 있다.
• 다항 길이 문자열로 제한된 경우 최고 가중치 문자열 문제는 NP-완전성과 APX-난이도를 가지며, 이는 본질적인 비결정성(불가능성)을 시사한다.
• 이러한 결과들은 NLP 시스템에서 빔 서치와 그레디 디코딩과 같은 휴리스틱 및 근사 방법의 광범위한 사용을 정당화한다.