[논문 리뷰] Inducing Regular Grammars Using Recurrent Neural Networks

Mor Cohen, Avi Caciularu외 2명|arXiv (Cornell University)|2017. 10. 28.

Natural Language Processing Techniques참고 문헌 15인용 수 14

한 줄 요약

이 논문은 순환 신경망(RNN)을 사용하여 레이블이 붙은 문자열 데이터로부터 정규 문법을 유도하는 새로운 방법을 제안한다. RNN을 목표 정규 언어에 속하는지 여부를 분류하도록 훈련한 후, RNN의 연속적인 은닉 상태를 비지도 군집화하여 유한 상태 오토마타를 추출한다. 주요 기여는 사전 가정 없이 군집 수를 자동으로 결정하는 상태 양자화 기법으로, 이는 주어진 RNN이 순환 상태 전이를 학습함으로써 일반화를 이룰 수 있음을 시사함에도 불구하고, 높은 정확도로 최소화된 결정론적 유한 오토마타(DFA)를 재구성할 수 있게 한다.

ABSTRACT

Grammar induction is the task of learning a grammar from a set of examples. Recently, neural networks have been shown to be powerful learning machines that can identify patterns in streams of data. In this work we investigate their effectiveness in inducing a regular grammar from data, without any assumptions about the grammar. We train a recurrent neural network to distinguish between strings that are in or outside a regular language, and utilize an algorithm for extracting the learned finite-state automaton. We apply this method to several regular languages and find unexpected results regarding the connections between the network's states that may be regarded as evidence for generalization.

연구 동기 및 목표

• 정규 문법의 구조에 대한 사전 가정 없이도, 일반적인 목적의 정규 문법 유도 방법을 개발하기 위해.
• RNN이 정규 언어의 잠재적 패턴을 학습하고 유한한 훈련 데이터를 초월해 일반화할 수 있는지 조사하기 위해.
• RNN의 연속적인 은닉 상태를 군집화하여 결정론적 유한 오토마타(DFA)를 추출하기 위해.
• 단순하고 복잡한 패턴(예: 품사 구조)을 포함한 합성 정규 언어에서 이 방법을 평가하기 위해.
• RNN 상태에서 나타나는 잠재적 순환 행동이, 상태 전이에 대한 명시적 지도 없이도 일반화를 나타내는지 탐구하기 위해.

제안 방법

• 목표 정규 언어에 속하는지 여부를 나타내는 레이블이 붙은 15,000개의 훈련, 10,000개의 검증, 10,000개의 테스트 문자열로 이루어진 균형 잡힌 데이터셋을 생성하기 위해.
• 15 에포크 동안 순환 신경망(RNN)을 훈련하여 문자열을 양성 또는 음성으로 분류하도록 하여 검증 정확도가 거의 완벽한 수준(~99–100%)에 도달하도록 하였다.
• 추론 중에 모든 입력 문자열에 대해 RNN의 은닉 상태를 추출하여 네트워크 내부 상태의 연속적인 벡터 표현을 확보하기 위해.
• 군집 알고리즘(예: k-means)을 적용하여 유사한 RNN 상태를 이산 상태로 군집화하기 위해, 사전 지식 없이 최적의 군집 수를 결정하는 히우리스틱을 사용하기 위해.
• RNN의 상태 전이 기반으로 전이를 정의하고, 분류 결과에 따라 수락 상태를 레이블링하여 군집된 상태에서 DFA를 구성하기 위해.
• 표준 최소화 알고리즘을 사용하여 결과적으로 얻어진 DFA를 최소화하여 컴act하고 등가인 오토마타를 확보하기 위해.

실험 결과

연구 질문

• RQ1 문자열 분류에만 훈련된 RNN이 문법에 대한 사전 가정 없이도 정규 언어의 잠재적 구조를 학습할 수 있는가?
• RQ2 RNN의 연속적인 은닉 상태에서 순환 행동이 나타나는 것은, 상태 전이에 대한 명시적 지도 없이도 무한 길이의 시퀀스로의 일반화를 나타내는가?
• RQ3 RNN 상태의 군집화가 유한 상태 오토마타를 효과적으로 복원하여 목표 언어를 정확하게 표현할 수 있는가?
• RQ4 RNN이 목표 언어의 무작위 및 문법적으로 잘못된 변형도 함께 훈련한 경우, 추출된 DFA는 노이즈와 분포 이탈에 대해 얼마나 강건한가?
• RQ5 DFA의 오류 상태는 얼마나 많은 새로운 훈련 예제를 타겟으로 데이터 증강하기 위해 활용할 수 있는가?

주요 결과

• RNN은 모든 합성 정규 언어 작업에서 거의 완벽한 검증 정확도(약 99–100%)를 달성하여 강력한 패턴 학습 능력을 보였다.
• 이 방법은 목표 언어와 높은 정확도로 일치하는 DFA를 성공적으로 재구성했으며, 특히 품사 기반 정규식에 대해 99.6%의 정확도를 기록했다.
• RNN은 놀랍게도 연속적인 은닉 상태에서 순환 행동을 보였는데, 이는 연속 상태 공간에 있음에도 불구하고 무한 길이의 시퀀스로의 일반화를 암시한다.
• 군집 기반 양자화 방법은 충돌 없는 전이를 생성하여, 동일한 군집 내 상태들이 입력 전이에 대해 유사하게 행동함을 시사하며, 군집의 표현 정밀도를 검증한다.
• 추출된 DFA의 오류 상태는 펌핑 보조정리에 의해 무한한 잘못 분류된 문자열 클래스를 나타내었으며, 이는 네트워크의 오류에서 새로운 훈련 예제를 생성함으로써 타겟 데이터 증강이 가능함을 의미한다.
• RNN의 연속 상태 공간은 작은 변형에 대해 강건함을 보였으며, 가까운 상태들이 유사한 전이를 생성함으로써 군집화 접근법의 타당성을 뒷받침한다.