[논문 리뷰] Improving Semantic Parsing for Task Oriented Dialog

Arash Einolghozati, Panupong Pasupat외 5명|arXiv (Cornell University)|2019. 02. 15.

Topic Modeling참고 문헌 25인용 수 25

한 줄 요약

이 논문은 계층적 의도-슬롯 파싱에서 발생하는 다양한 오류 유형을 보정하기 위해 앙상블, 컨텍스트 기반 임베딩(ELMo), 그리고 언어 모델 기반 재순서 정렬을 도입함으로써 작업 지향 대화의 의미 분석을 향상시킨다. 최고의 모델은 이러한 세 가지 기법을 모두 통합하여 오류율을 33% 감소시키며, TOP 데이터셋에서 87.25%의 정확한 매칭 정확도로 새로운 최고 성능을 달성한다.

ABSTRACT

Semantic parsing using hierarchical representations has recently been proposed for task oriented dialog with promising results [Gupta et al 2018]. In this paper, we present three different improvements to the model: contextualized embeddings, ensembling, and pairwise re-ranking based on a language model. We taxonomize the errors possible for the hierarchical representation, such as wrong top intent, missing spans or split spans, and show that the three approaches correct different kinds of errors. The best model combines the three techniques and gives 6.4% better exact match accuracy than the state-of-the-art, with an error reduction of 33%, resulting in a new state-of-the-art result on the Task Oriented Parsing (TOP) dataset.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 복잡하고 구성적인 자연어 질의를 파싱하는 데 도전하는 데 목적이 있다.
• 계층적 의도-슬롯 표현에서 특정 오류 유형을 보정하여 기존 최고 성능을 초월하는 의미 분석 정확도를 향상시키는 데 목적이 있다.
• 앙상블, 컨텍스트 기반 임베딩, 언어 모델 재순서 정렬의 상호 보완적 기여가 파싱 오류 감소에 얼마나 기여하는지 조사하는 데 목적이 있다.
• 대상 모델 향상을 위한 구체적 접근을 가능하게 하기 위해 계층적 의미 분석을 위한 체계적 오류 분류 체계를 개발하는 데 목적이 있다.
• TOP 데이터셋을 대상으로 다수의 기법을 통합하여 고정밀도 파싱 모델을 개발하는 데 목적이 있다.

제안 방법

• 모델 다양성을 활용하기 위해 세 가지 전략(다수결 투표, 그리디 동작 선택, 파서 전환)을 사용한 다수의 파서를 앙상블하는 방식.
• 심층적 컨텍스트 기반 단어 임베딩 모델인 ELMo를 도입하여 파싱 모델 내 단어 표현 학습을 향상시키는 방식.
• 사전 훈련된 언어 모델을 사용해 파서가 생성한 상위-k 개의 파싱 가설을 재순서 정렬하고, 최적의 파싱 결과를 선택하기 위해 순서 정렬 SVM을 적용하는 방식.
• 스택과 버퍼 LSTMs를 사용해 파싱 상태를 인코딩하는 RNN 기반 문법 구조(RNNG) 기반의 시프트-리덕션 파서를 기본 모델로 사용하는 방식.
• Adam 최적화, 드롭아웃, 사전 훈련된 단어 임베딩를 사용해 기본 모델을 훈련하고, 추론 시에는 그리디 디코딩을 적용하는 방식.
• 기술들을 계단식으로 통합하는 방식: 먼저 ELMo를 적용하고, 그 다음 앙상블를 적용한 후, 언어 모델을 사용해 최종적으로 재순서 정렬하여 최고의 성능을 확보하는 방식.

실험 결과

연구 질문

• RQ1 오류 유형(예: 잘못된 최상위 의도, 누락된 스팬, 분할된 스팬 등)이 계층적 의미 분석에서 파싱 성능에 어떻게 영향을 미치는가?
• RQ2 앙상블, 컨텍스트 기반 임베딩, 언어 모델 재순서 정렬이 각각 다른 종류의 파싱 오류를 얼마나 효과적으로 보정하는가?
• RQ3 서로 보완적인 오류 보정 패턴을 가진 앙상블, ELMo, 언어 모델 재순서 정렬이 효과적으로 통합될 수 있는가?
• RQ4 TOP 데이터셋에서 세 가지 기법을 모두 통합했을 때 얻을 수 있는 최대 성능 향상은 얼마인가?
• RQ5 ELMo 사용 여부가 언어 모델 재순서 정렬의 효과성에 영향을 미치는가?

주요 결과

• 앙상블, ELMo, 언어 모델 재순서 정렬을 통합한 모델은 기준 모델 대비 TOP 데이터셋에서 오류율을 33% 감소시켰다.
• 최고 성능을 기록한 모델은 정확한 매칭 정확도 87.25%를 달성하여 TOP 벤치마크에서 새로운 최고 성능을 수립했다.
• 언어 모델 재순서 정렬은 ELMo와 앙상블 이후에도 뚜렷한 성능 향상을 제공했으며, 확장된 SVM 순서 정렬 전략이 가장 높은 성능을 기록했다.
• 앙상블와 ELMo는 거의 상호 보완적으로 성능 향상을 이끌었으며, 두 기법의 조합로 오류율을 28% 감소시켰다.
• 오류 분석 결과 각 기법이 서로 다른 종류의 파싱 오류를 보정하는 것으로 확인되어 오류 분류 체계의 유효성이 입증되었다.
• 언어 모델 재순서 정렬 기법은 ELMo 강화 모델에 적용해도 높은 성능 향상을 유지하며, 호환성과 누적 효과를 보였다.