[논문 리뷰] Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

Sonal Gupta, Rushin Shah외 3명|arXiv (Cornell University)|2018. 10. 18.

Topic Modeling참고 문헌 15인용 수 19

한 줄 요약

이 논문은 계층적 의미 구문 분석 프레임워크를 제안하여, 트리 구조적 표현을 통해 중첩된 의도와 슬롯을 포함한 복합 쿼리 이해를 가능하게 한다. 44,000개의 발화로 구성된 데이터셋에서 평가한 결과, 순환 신경망 문법(RNNG)이 순차적-순차적 모델보다 뛰어나 92.48%의 상위 5개 정확도를 기록하여, 의미 구문 분석에 구조적 인덕티브 바이어스의 효과성을 입증한다.

ABSTRACT

Task oriented dialog systems typically first parse user utterances to semantic frames comprised of intents and slots. Previous work on task oriented intent and slot-filling work has been restricted to one intent per query and one slot label per token, and thus cannot model complex compositional requests. Alternative semantic parsing systems have represented queries as logical forms, but these are challenging to annotate and parse. We propose a hierarchical annotation scheme for semantic parsing that allows the representation of compositional queries, and can be efficiently and accurately parsed by standard constituency parsing models. We release a dataset of 44k annotated queries (fb.me/semanticparsingdialog), and show that parsing models outperform sequence-to-sequence approaches on this dataset.

연구 동기 및 목표

• 작업 중심 대화 시스템에서 복잡하고 중첩된 사용자 요청을 표현하는 데 있어 전통적인 의도-슬롯 태깅의 한계를 해결하기 위해.
• 표현력과 효율적인 애너테이션 및 구문 분석의 균형을 이루는 의미 표현을 설계하여, 완전한 논리 형태의 복잡성과는 거리두기 위해.
• 구성 문법 분석 모델이 계층적 구조를 활용해 작업 중심 대화의 의미 구문 분석에 효과적으로 적용될 수 있음을 보여주기 위해.
• 향후 연구를 지원하기 위해 44,000개의 애너테이션된 대화 요청을 포함한 대규모, 고 커버리지, 고 일치도 데이터셋을 공개하기 위해.

제안 방법

• 루트가 의도인 계층적 표현을 제안하며, 비말기어는 의도 또는 슬롯이며, 슬롯은 중첩된 의도를 포함할 수 있어 구성 문법 스타일의 파싱 트리를 형성한다.
• 구조적 제약 조건을 강제 적용: 루트는 반드시 의도여야 하며, 의도는 토큰 또는 슬롯을 자식으로 가질 수 있고, 슬롯은 토큰 또는 하나의 의도만 자식으로 가질 수 있다.
• 구문 분석 모델로 순환 신경망 문법(RNNG)을 사용하여, 잘 구성된 트리 생성을 위한 인덕티브 바이어스와 선형 시간 추론을 활용한다.
• 출력 터미널을 위한 단일 토큰 어휘(LOTV)를 사용하여, 토큰 재생산보다는 구조 예측에 집중하도록 유도한다.
• 표준 최적화(Adam, NAG)를 사용해 모델을 훈련하고, 정확한 매칭 및 상위-k 정확도 메트릭을 사용해 평가한다.
• RNNG의 구성 요소(액션 LSTM, 스택 LSTM, 버퍼 LSTM)에 대한 아블레이션 스터디를 수행하여 각 모듈의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 계층적이고 트리 구조적 의미 표현은 작업 중심 대화에서 복합적이고 중첩된 사용자 요청을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 표현 방식은 실제 사용자 발화의 고 커버리지와 높은 이면자 일치도를 달성하는가?
• RQ3 RNNG와 같은 표준 구성 문법 분석 모델이 이 표현 방식에 효과적으로 적용되어 시퀀스-투-시퀀스 기반 모델을 능가할 수 있는가?
• RQ4 낮은 데이터, 높은 구조성 조건에서, 구조적 모델의 인덕티브 바이어스는 시퀀스-투-시퀀스 모델의 유연성보다 우월한가?

주요 결과

• 계층적 표현은 기존의 한 의도, 한 슬롯 체계로는 모델링할 수 없는 사용자 요청의 70%를 커버하며, 이 중 30%는 복합적 중첩이 필요하다.
• 이 데이터셋에서의 이면자 간 일치도는 매우 높아, 애너테이션 체계가 대규모 수집에 대해 신뢰성 있고 실용적임을 시사한다.
• RNNG는 정확한 파싱 트리 예측에서 상위 5개 정확도 92.48%를 기록하여, 시퀀스-투-시퀀스 기반 모델(상위 1개 정확도 78.51%)을 크게 앞서며 성능을 입증한다.
• RNNG 모델은 빔 서치 조건에서도 높은 성능을 유지하며, 상위 5개 정확도는 92.48%로 유지되며, 게리 디코딩의 경우 78.51%에 그친다.
• RNNG에서 버퍼 LSTM을 제거하면 성능이 급격히 떨어지며(정확한 매칭 13.78%), 이는 구조적 학습에서 버퍼 LSTM의 핵심적 역할을 강조한다.
• 단일 토큰 어휘(LOTV)의 사용은 CNN 및 LSTM 기반 시퀀스-투-시퀀스 모델의 성능을 향상시키지만, Transformer에는 악영향을 미쳐 모델별 최적화가 필요함을 시사한다.