[논문 리뷰] Representing Formal Languages: A Comparison Between Finite Automata and Recurrent Neural Networks

Joshua Michalenko, Ameesh Shah외 4명|arXiv (Cornell University)|2019. 02. 27.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 정규 언어를 인식하도록 훈련된 순환 신경망(RNN)이 형식적 문법적 구조를 어떻게 표현하는지 조사한다. RNN의 은닉 상태가 최소 결정성 유한 오토마타(MDFA) 상태에 직접 매핑되는 것이 아니라, MDFA 상태들을 군집화하여 생성된 추상화된 '서퍼스테이트(superstates)'에 매핑된다고 제안한다. 선형 디코딩 함수는 RNN 상태를 이러한 추상화에 높은 정확도로 매핑할 수 있으며, 이는 RNN 표현과 유한 오토마타 사이에 강한 구조적 대응이 있음을 드러낸다.

ABSTRACT

We investigate the internal representations that a recurrent neural network (RNN) uses while learning to recognize a regular formal language. Specifically, we train a RNN on positive and negative examples from a regular language, and ask if there is a simple decoding function that maps states of this RNN to states of the minimal deterministic finite automaton (MDFA) for the language. Our experiments show that such a decoding function indeed exists, and that it maps states of the RNN not to MDFA states, but to states of an {\em abstraction} obtained by clustering small sets of MDFA states into "superstates". A qualitative analysis reveals that the abstraction often has a simple interpretation. Overall, the results suggest a strong structural relationship between internal representations used by RNNs and finite automata, and explain the well-known ability of RNNs to recognize formal grammatical structure.

연구 동기 및 목표

• 정규 언어를 훈련 데이터로 사용할 때 RNN이 내부적으로 형식적 문법적 구조를 어떻게 표현하는지 이해하기 위해.
• RNN 은닉 상태가 최소 결정성 유한 오토마타(MDFA) 상태로 디코딩될 수 있는지 조사하기 위해.
• RNN 상태를 MDFA 상태 또는 그들의 추상화로 매핑하는 단순한 디코딩 함수가 존재하는지 탐색하기 위해.
• 군집화 및 디코딩 기법을 사용하여 RNN 표현과 유한 오토마타 사이의 구조적 관계를 분석하기 위해.
• 결과로 도출된 추상화의 해석 가능성과 군집의 조밀함이 언어학적 및 오토마타 이론적 의미에서 어떻게 평가되는지 평가하기 위해.

제안 방법

• 정규 표현식으로 정의된 500개의 정규 언어에서 양성 및 부정성 예제를 훈련 데이터로 사용하여 RNN을 훈련한다.
• 각 언어에 대해 최소 결정성 유한 오토마타(MDFA)를 구성하여 기준 모델로 삼는다.
• MDFA 상태에 대한 계층적 군집화를 적용하여 점차 더 조밀한 상태 그룹화를 반복하는 계층적 구조(다이어그램)를 생성한다.
• RNN 은닉 상태를 MDFA의 추상화된 상태로 매핑하는 선형 디코더를 훈련하고, 각 군집 수준에서 정확도를 평가한다.
• t-SNE 시각화를 사용하여 RNN 은닉 상태의 기하학적 구조를 분석하고, MDFA 상태 할당과 비교한다.
• 디코딩 정확도와 전이 정확도를 측정하여 RNN 내부 상태가 추상화된 오토마타 구조와 얼마나 잘 일치하는지 평가한다.

실험 결과

연구 질문

• RQ1 정규 언어를 훈련 데이터로 사용하는 RNN의 은닉 상태를 단순한 디코딩 함수를 통해 그 언어의 최소 결정성 유한 오토마타(MDFA) 상태로 매핑할 수 있는가?
• RQ2 RNN의 내부 표현은 MDFA 상태에 더 가까운가, 아니면 MDFA 상태들을 '서퍼스테이트'로 군집화하여 생성된 추상화에 더 가까운가?
• RQ3 높은 디코딩 정확도를 달성하기 위해 선형 디코더로 충분한가, 아니면 비선형성이 RNN 표현을 포괄하기 위해 필요한가?
• RQ4 MDFA 상태를 군집화하여 생성된 추상화의 해석 가능성은 어떠한가? 그리고 이들은 의미 있는 언어학적 또는 구조적 패턴을 반영하는가?
• RQ5 추상화의 조밀함(즉, 군집 수)이 디코딩 정확도에 어떤 영향을 미치며, 최적의 추상화 수준는 무엇인가?

주요 결과

• 선형 디코딩 함수는 MDFA 상태를 군집화하여 생성된 추상화된 상태로 RNN 은닉 상태를 매핑하는 데 높은 정확도를 기록하여 강한 구조적 일치가 있음을 시사한다.
• RNN 표현은 개별 MDFA 상태에 매핑되는 것이 아니라, 소규모 MDFA 상태 집합을 군집화하여 생성된 '서퍼스테이트'에 매핑되므로, 추상화가 표현의 핵심임을 시사한다.
• MDFA 상태를 군집화하여 생성된 추상화는 종종 직관적이고 해석 가능한 의미를 지닌다. 예를 들어, 같은 부분 패턴을 인식하는 상태들을 묶는다(예: [a-d]*).
• 디코딩 정확도는 추상화의 조밀함 증가에 따라 증가하며, 임계값 기반 선택 방법을 통해 높은 정확도를 달성하기 위한 최소한의 추상화 수준을 식별할 수 있다.
• RNN은 문자열 내 위치에 관계없이 동일한 부분 패턴을 위한 공통된 은닉 상태를 사용함으로써, 구조적 추상화의 한 형태를 학습한다.
• MDFA 상태의 계층적 군집화 분석 결과, RNN은 순서상 가까운 상태나 동일한 문법적 역할을 하는 상태들을 추상화하는 경향이 있으며, 이는 표현 학습 시 위치 기반 및 역할 기반의 사전 지식이 작용함을 시사한다.