[논문 리뷰] Language to Logical Form with Neural Attention

Li Dong, Mirella Lapata|arXiv (Cornell University)|2016. 01. 06.

Natural Language Processing Techniques참고 문헌 47인용 수 120

한 줄 요약

논문은 자연어를 논리 형식으로 매핑하는 주의(attention) 강화 인코더-디코더 프레임워크를 제시하며, 일반적인 Seq2Seq와 계층적 Seq2Tree 디코더를 포함하고, 네 가지 데이터셋에 대해 핸드 엔지니어링된 특징 없이 평가된다.

ABSTRACT

Semantic parsing aims at mapping natural language to machine interpretable meaning representations. Traditional approaches rely on high-quality lexicons, manually-built templates, and linguistic features which are either domain- or representation-specific. In this paper we present a general method based on an attention-enhanced encoder-decoder model. We encode input utterances into vector representations, and generate their logical forms by conditioning the output sequences or trees on the encoding vectors. Experimental results on four datasets show that our approach performs competitively without using hand-engineered features and is easy to adapt across domains and meaning representations.

연구 동기 및 목표

• 도메인 특화 수작업 특징을 최소화하는 일반적인 의미 파싱 방법의 동기를 제시한다.
• 자연어를 논리 형식으로 매핑하기 위해 신경망 인코더-디코더 아키텍처를 활용한다.
• 구성적 구조를 더 잘 포착하기 위해 계층적 트리 디코더를 탐구한다.
• 주의(attention)를 도입하여 입력 발화와 의미 표현 간의 소프트 정렬을 학습한다.
• 희귀한 엔티티/숫자를 다루기 위한 인자 식별 전처리 단계를 도입한다.

제안 방법

• 입력 질문 토큰을 은닉 표현으로 변환하기 위해 2계층 LSTM 인코더를 사용한다.
• 논리 형식을 생성하기 위해 Seq2Seq로 토큰 시퀀스를 생성하거나 (Seq2Tree) 계층적 트리 구조를 순회하는 디코더를 구현한다.
• 각 디코딩 단계마다 인코더 상태로부터 컨텍스트 벡터를 계산하기 위해 주의 메커니즘을 도입한다.
• 타입-이름+ID 표식으로 엔티티와 숫자를 대체하여 인자 식별으로 데이터를 전처리한다.
• 드롭아웃 정규화를 사용한 RMSProp으로 올바른 논리 형식의 조건부 가능도를 최대화하며 학습한다.
• 탐색은 그리디 또는 빔 탐색을 통해 가장 가능성이 높은 논리 형식을 생성한다.

실험 결과

연구 질문

• RQ1 핸드크래프트 기능 없이 자연어를 논리 형식으로 매핑하는 주의(attention) 강화 인코더-디코더 모델이 가능한가?
• RQ2 계층적 트리 디코더가 평면 시퀀스 디코더보다 논리 형식의 구성적 구조를 더 잘 포착하는가?
• RQ3 주의가 입력 발화와 논리 형식 간의 정렬에 어떤 영향을 미치는가?
• RQ4 명시적인 인자 식별이 엔티티/숫자가 많은 소형 데이터셋에서 파싱 정확도를 향상시키는가?
• RQ5 제안된 접근 방식이 도메인 특화 엔지니어링 없이 다양한 데이터셋과 의미 표현에서 어떠한 성능을 보이는가?

주요 결과

• Seq2Tree는 일반적으로 Seq2Seq보다 성능이 우수하며, 특히 중첩 구조에서 구성성의 명시적 모델링으로 인해 이점이 있다.
• 주의(attention)는 Jobs, Geo, Atis 데이터셋에서 성능을 향상시킨다.
• 인자 식별은 희귀한 엔티티가 많은 소규모 데이터셋에서 결정적이다.
• 제안된 모델은 도메인 특화 특징 없이도 이전 방법과 비교하여 경쟁력 있거나 우수한 성능을 달성한다.
• Seq2Tree와 attention을 결합한 모델은 Atis에서 1위/2위를 차지하고 여러 벤치마크에서 강력한 결과를 보인다.