[논문 리뷰] A Deep Architecture for Semantic Parsing

Edward Grefenstette, Phil Blunsom외 2명|arXiv (Cornell University)|2014. 04. 29.

Natural Language Processing Techniques참고 문헌 18인용 수 11

한 줄 요약

이 논문은 문법 분석에 의존하지 않고 자연어에서 온톨로지 기반 데이터베이스 쿼리를 직접 생성하는 새로운 딥러닝 아키텍처를 제안한다. 양방향 복합 문장 모델(BiCVM)을 사용해 문장과 쿼리 임베딩을 공동으로 학습하고, 로그-이차 조건부 신경망 언어 모델(CNLM)을 결합함으로써 원시 텍스트에서 구조화된 쿼리를 엔드 투 엔드로 생성할 수 있도록 한다. 특히, OOV(out-of-vocabulary), 손상된, 또는 자원이 부족한 언어 입력에 매우 효과적이다.

ABSTRACT

Many successful approaches to semantic parsing build on top of the syntactic analysis of text, and make use of distributional representations or statistical models to match parses to ontology-specific queries. This paper presents a novel deep learning architecture which provides a semantic parsing system through the union of two neural models of language semantics. It allows for the generation of ontology-specific queries from natural language statements and questions without the need for parsing, which makes it especially suitable to grammatically malformed or syntactically atypical text, such as tweets, as well as permitting the development of semantic parsers for resource-poor languages.

연구 동기 및 목표

• 기존의 문법 분석 및 규칙 기반 재작성 방식을 회피하는 의미 분석 시스템을 개발하는 것.
• 분산 표현만을 사용하여 자연어에서 지식기반 쿼리를 엔드 투 엔드로 생성하는 것.
• 소셜 미디어 텍스트와 같은 저자원 또는 문법적으로 비정상적인 언어에서도 의미 분석을 지원하는 것.
• 두 개의 딥러닝 모델인 BiCVM과 CNLM을 통합된 생성 프레임워크로 조합하는 것.
• 자연어 질문과 공식 쿼리의 병렬 코퍼스를 학습 데이터로 사용하여, 미리 보지 않은 입력에 대한 일반화 능력을 향상시키는 것.

제안 방법

• 모델은 노이즈 대비 목적함수를 사용하여 양방향 복합 문장 모델(BiCVM)을 통해 자연어 질문과 지식기반 쿼리의 분산 표현을 공동으로 학습한다.
• BiCVM은 구성 함수 g와 h를 사용해 질문 단어와 쿼리 기호를 공통 잠재 공간에 매핑하며, 의미적으로 대응하는 쌍 간의 거리를 최소화한다.
• 로그-이차 조건부 신경망 언어 모델(CNLM)은 질문의 잠재 표현에 조건부로 구조화된 쿼리를 생성하도록 학습된다.
• 시스템은 두 단계로 학습된다: 첫 번째로 BiCVM은 질문-쿼리 쌍의 병렬 코퍼스로부터 정렬된 임베딩을 학습하고, 두 번째로 CNLM은 질문의 잠재 표현과 그에 해당하는 쿼리에 대해 학습된다.
• 단어 및 기호 임베딩은 성능 향상을 위해 사전 학습된 모델(예: skip-gram 또는 관계 추출 임베딩)로 초기화할 수 있다.
• 최종 모델은 BiCVM의 잠재 표현을 CNLM의 입력으로 통합하여 원시 입력에서 공식 쿼리를 직접 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 순수하게 분산 표현 기반의 신경망 모델이 문법 분석 없이 정확한 지식기반 쿼리를 생성할 수 있는가?
• RQ2 BiCVM을 통한 문장과 쿼리 임베딩의 공동 학습이 제로샷 또는 저자원 의미 분석 성능을 향상시킬 수 있는가?
• RQ3 질문의 학습된 잠재 표현에 조건부로 신경 언어 모델을 적용하면 더 정확하고 일반화 능력이 뛰어난 쿼리 생성이 가능한가?
• RQ4 이 아키텍처는 트윗이나 비표준 언어와 같은 문법적으로 비정상적인 입력을 처리할 수 있는가?
• RQ5 이 모델은 프리베이스 쿼리 외에도 람다 표현과 같은 다른 형식 언어 표현으로 일반화될 수 있는가?

주요 결과

• 기존의 문법적 및 논리적 구성 요소를 대체하여 딥 뉴럴 네트워크와 분산 표현을 사용함으로써 엔드 투 엔드 의미 분석을 달성한다.
• BiCVM 구성 요소는 명시적인 문법 분석 없이도 자연어 질문과 공식 데이터베이스 쿼리 간의 정렬된 잠재 표현을 성공적으로 학습한다.
• CNLM 구성 요소는 질문의 잠재 의미 표현에 조건부로 구조화된 쿼리를 효과적으로 생성하여 직접적인 쿼리 생성을 가능하게 한다.
• 이중 단계 학습 프로세스는 임베딩 및 생성 구성 요소의 효과적인 공동 최적화를 가능하게 하여 강건성과 일반화 능력을 향상시킨다.
• 분산 표현에 의존함으로써 문법 규칙에 의존하지 않아 저자원 언어 및 노이즈가 많은 입력에 적합한 아키텍처이다.
• 모델은 람다 칼큘러스 표현과 같은 다른 형식 언어 표현의 생성으로도 확장 가능하여 지식기반 쿼리 외에도 광범위한 적용 가능성을 보인다.