[논문 리뷰] CFGs-2-NLU: Sequence-to-Sequence Learning for Mapping Utterances to Semantics and Pragmatics

Adam Summerville, James Ryan외 2명|arXiv (Cornell University)|2016. 07. 22.

Topic Modeling참고 문헌 16인용 수 4

한 줄 요약

이 논문은 문맥 자유 문법(CFG)을 의미적 및 담론적 정보로 표기하여 LSTM RNN을 훈련시켜 게임 내 플레이어 발화를 문법적 추적으로 매핑하는 순서-순서 학습 접근법을 제안한다. 시스템은 표면적 발화를 추적으로 번역하는 데 높은 정확도를 달성하여 상호작용 기반 스토리텔링 게임의 대화 관리에서 의미와 담론적 맥락을 견고하게 추론할 수 있다.

ABSTRACT

In this paper, we present a novel approach to natural language understanding that utilizes context-free grammars (CFGs) in conjunction with sequence-to-sequence (seq2seq) deep learning. Specifically, we take a CFG authored to generate dialogue for our target application for NLU, a videogame, and train a long short-term memory (LSTM) recurrent neural network (RNN) to map the surface utterances that it produces to traces of the grammatical expansions that yielded them. Critically, this CFG was authored using a tool we have developed that supports arbitrary annotation of the nonterminal symbols in the grammar. Because we already annotated the symbols in this grammar for the semantic and pragmatic considerations that our game's dialogue manager operates over, we can use the grammatical trace associated with any surface utterance to infer such information. During gameplay, we translate player utterances into grammatical traces (using our RNN), collect the mark-up attributed to the symbols included in that trace, and pass this information to the dialogue manager, which updates the conversation state accordingly. From an offline evaluation task, we demonstrate that our trained RNN translates surface utterances to grammatical traces with great accuracy. To our knowledge, this is the first usage of seq2seq learning for conversational agents (our game's characters) who explicitly reason over semantic and pragmatic considerations.

연구 동기 및 목표

• 오픈 도메인, 상호작용 기반 대화를 위한 규칙 기반 NLU 시스템 구축 시 저자 부담을 줄이기 위해.
• 자연어 이해를 위한 수작업된 패턴 매칭 규칙의 대안으로서 확장 가능하고 더 견고한 대안을 만들기 위해.
• 비전문가 저자가 그래픽 기반 문법 작성 도구(Expressionist)를 통해 의미적 및 담론적 표기를 쉽게 지정할 수 있도록 하기 위해.
• 문법적 추적에서 복잡한 계층적 언어 패턴을 추론하기 위해 순서-순서 학습을 활용하기 위해.
• 같은 표기된 문법을 자연어 생성과 이해에 모두 사용할 수 있도록 하여 일관성 향상과 중복 제거를 지원하기 위해.

제안 방법

• 비전문가 저자가 Expressionist 도구를 사용해 문맥 자유 문법(CFG)을 작성하며, 비단말 기호는 의미적 및 담론적 내용으로 표기된다.
• 단말 유도(표면 발화)는 해당되는 문법적 전개 추적과 쌍을 이루며 훈련 데이터셋을 구성한다.
• 표면 발화를 그에 상응하는 문법적 추적으로 매핑하는 데 LSTM 기반 순서-순서 모델을 훈련시킨다.
• 추론 과정에서 훈련된 RNN은 플레이어의 발화를 문법적 추적으로 번역하며, 이를 통해 의미적 및 담론적 표기를 추출한다.
• 시스템은 추적 구조를 활용해 비단말 기호에서 유도된 표기를 최종 발화 해석으로 전파한다.
• 미래 확장으로는 대화 이력 통합 및 명명된 실체 처리를 향상시키기 위해 빔 서치 또는 포인터 네트워크를 사용할 계획이다.

실험 결과

연구 질문

• RQ1 순서-순서 모델이 표시된 CFG에서 유도된 문법적 추적으로 자연어 발화를 정확하게 매핑할 수 있는가?
• RQ2 표시된 문법 기반 순서-순서 모델을 사용할 경우 기존 규칙 기반 NLU 시스템에 비해 저자 부담이 줄어드는가?
• RQ3 이 방법은 게임과 같은 오픈 도메인, 상호작용 기반 대화 시스템에서 의미적 및 담론적 추론을 견고하게 지원할 수 있는가?
• RQ4 모델은 대화 맥락에서의 OOV(어휘 외 단어) 또는 모호한 발화를 어떻게 처리하는가?
• RQ5 동일한 문법이 자연어 생성과 이해에 얼마나 널리 사용될 수 있는가?

주요 결과

• 훈련된 RNN은 표면적 발화를 문법적 추적으로 번역하는 데 높은 정확도를 달성하여 의미적 및 담론적 내용의 신뢰할 수 있는 추론이 가능하다.
• 최소한의 저작 노력으로도 정수의 파생 가능성 수준을 수십 억 배 이상 확보함으로써, 천 개 이상의 수작업 규칙이 필요한 상황을 크게 줄였다.
• 동일한 문법을 자연어 생성과 이해에 모두 사용할 수 있어 일관성 향상과 중복 제거에 기여한다.
• 실시간으로 발화 유도 및 표기 피드백을 제공하는 그래픽 인터페이스를 통해 비전문가 저자도 쉽게 사용할 수 있도록 하였다.
• 엄격한 패턴 매칭에 의존하지 않고 계층적 패턴을 학습함으로써 입력 발화의 다양성에 대해 뛰어난 견고성을 보였다.
• 미래 작업으로는 대화 이력 통합 및 고급 디코딩 전략을 통해 명명된 실체 및 맥락적 모호성 처리를 향상시키는 것이 제안되었다.