[논문 리뷰] Building a Neural Semantic Parser from a Domain Ontology

Jianpeng Cheng, Siva Reddy외 1명|arXiv (Cornell University)|2018. 12. 25.

Natural Language Processing Techniques참고 문헌 52인용 수 11

한 줄 요약

이 논문은 의미 표현에서 파생된 자연어 템플릿을 통해 훈련 데이터를 생성함으로써 도메인 온톨로지에서 신경망 의미 분석기 구축 프레임워크를 제안한다. 이 템플릿들은 인류가 재작성한 자연어 표현으로 변환되며, 이는 신경망 분석기가 복합 규칙 유도를 학습하고, 레스토랑 및 호텔 도메인에서 복잡한 다단계 작업에 대해 뛰어난 성능을 달성하도록 한다.

ABSTRACT

Semantic parsing is the task of converting natural language utterances into machine interpretable meaning representations which can be executed against a real-world environment such as a database. Scaling semantic parsing to arbitrary domains faces two interrelated challenges: obtaining broad coverage training data effectively and cheaply; and developing a model that generalizes to compositional utterances and complex intentions. We address these challenges with a framework which allows to elicit training data from a domain ontology and bootstrap a neural parser which recursively builds derivations of logical forms. In our framework meaning representations are described by sequences of natural language templates, where each template corresponds to a decomposed fragment of the underlying meaning representation. Although artificial, templates can be understood and paraphrased by humans to create natural utterances, resulting in parallel triples of utterances, meaning representations, and their decompositions. These allow us to train a neural semantic parser which learns to compose rules in deriving meaning representations. We crowdsource training data on six domains, covering both single-turn utterances which exhibit rich compositionality, and sequential utterances where a complex task is procedurally performed in steps. We then develop neural semantic parsers which perform such compositional tasks. In general, our approach allows to deploy neural semantic parsers quickly and cheaply from a given domain ontology.

연구 동기 및 목표

• 신규 또는 변화하는 도메인에서 신경망 의미 분석을 위한 저비용, 고카버리지 훈련 데이터 확보 과제를 해결하기 위해.
• 신경망 의미 분석기가 복합적인 자연어 표현과 복잡한 다단계 인간의 의도로 일반화할 수 있도록 하기 위해.
• 도메인 온톨로지를 활용하여 병렬로 자연어 표현, 의미 표현, 분해된 템플릿을 포함한 훈련 데이터를 체계적으로 생성하는 방법을 개발하기 위해.
• 유도 트리(derivation tree)를 통해 논리 규칙의 조합을 명시적으로 모델링하는 신경망 분석기를 설계하여 해석 가능성과 일반화 능력을 향상시키기 위해.
• 레스토랑 및 호텔과 같은 다양한 도메인에서 단회화 및 순차적, 다단계 대화 표현에 대해 프레임워크를 평가하기 위해.

제안 방법

• 프레임워크는 도메인 온톨로지로 정의된 형식적 의미 표현 공간에서 시작하여, 복합 규칙를 사용해 논리적 형태를 도출한다.
• 각 의미 표현은 도구 유도 과정에서 규칙 적용에 해당하는 각각의 자연어 템플릿으로 분해된다.
• 현장 작업자들이 이러한 인위적 템플릿을 유창하고 자연스러운 표현으로 재작성하도록 요청하여, (표현, 의미 표현, 분해)의 병렬 트리플을 생성한다.
• 신경망 의미 분석기는 순서에서 트리로의 생성 설정을 통해 의미 표현의 유도 트리를 예측하도록 훈련된다.
• 분석기는 순서에서 유도(Sequence-to-Derivation, S2D) 아키텍처를 사용하여 복합 구조를 명시적으로 모델링하며, 종단 간 순서에서 트리로의 접근 방식보다 일반화 능력을 향상시킨다.
• 모델은 단회화 및 다단계 대화 모두에서 평가되며, 탐색, 병합(합집합/교집합), 관련 없는 작업 등의 구조를 포함하고, S2D C를 통해 맥락 모델링을 탐색한다.

실험 결과

연구 질문

• RQ1 도메인 온톨로지를 사용하여 신경망 의미 분석을 위한 고품질, 재작성 가능한 훈련 데이터를 체계적으로 생성할 수 있는가?
• RQ2 템플릿 기반 데이터로 훈련된 신경망 분석기가 효과적으로 복합적인 복합 의미 표현을 구성할 수 있는가?
• RQ3 종단 간 순서에서 트리로의 파싱과 비교해, 유도 트리의 명시적 모델링이 복합 표현을 다룰 때 어떤가?
• RQ4 공동 참조, 주제 전환, 복잡한 논리적 구조를 포함한 다단계 대화에서 분석기의 성능은 어떠한가?
• RQ5 해석 과정 중에 명시적인 맥락 모델링이 공동 참조 표현에서의 파싱 성능 향상에 기여하는가?

주요 결과

• S2D 모델은 모든 도메인에서 S2S 및 S2T 기준 모델을 능가하며, 레스토랑 도메인에서 전체 의미 매칭 기준 F1 점수 73.6%와 호텔 도메인에서 73.7%를 기록한다.
• 탐색 및 관련 없는 작업 구조에서 분석기가 가장 뛰어난 성능을 보이며, 레스토랑 도메인에서 각각 F1 점수 78.6%와 71.7%를 기록하여 순차적이고 동시에 발생하지 않는 작업을 잘 처리함을 시사한다.
• 합집합 또는 교집합을 포함하는 병합 구조에서는 성능이 크게 떨어지며, 레스토랑 도메인에서 F1 점수 34.5%를 기록하여 복잡한 논리 조합을 탐지하고 조합하는 데 어려움을 겪고 있음을 나타낸다.
• 맥락 의존적 해석(S2D C)은 성능 향상이 미미하여, 표현의 표면적 신호가 일반적으로 공동 참조 해결에 충분함을 시사한다.
• 프레임워크는 인간의 노력이 템플릿 재작성 외에는 최소한으로 필요한 도메인 온톨로지에서 신속하게 신경망 의미 분석기를 배포할 수 있도록 한다.
• 구조적 유도 학습을 통해 복잡한 다단계 인간 의도를 다루는 데 특화되어 있으며, 다단계 의미 분석에서 최고의 성능을 달성한다.