[논문 리뷰] Cross-domain Semantic Parsing via Paraphrasing

Yu Su, Xifeng Yan|arXiv (Cornell University)|2017. 04. 20.

Topic Modeling참고 문헌 46인용 수 12

한 줄 요약

이 논문은 논리형식을 표준화된 자연어 표현으로 변환함으로써 의미 분석 작업을 재구성하는 교차 도메인 의미 분석 프레임워크를 제안한다. 주어진 문맥에 따라 문장의 의미를 재구성하는 순서-순서 모델과 표준화된 사전 학습된 단어 임베딩을 사용하여, 특히 도메인 내 학습 데이터가 부족한 경우에 뚜렷한 정확도 향상을 달성한다. Overnight 데이터셋에서 기준 임베딩 대비 최대 10%p의 절대적 성능 향상을 보였다.

ABSTRACT

Existing studies on semantic parsing mainly focus on the in-domain setting. We formulate cross-domain semantic parsing as a domain adaptation problem: train a semantic parser on some source domains and then adapt it to the target domain. Due to the diversity of logical forms in different domains, this problem presents unique and intriguing challenges. By converting logical forms into canonical utterances in natural language, we reduce semantic parsing to paraphrasing, and develop an attentive sequence-to-sequence paraphrase model that is general and flexible to adapt to different domains. We discover two problems, small micro variance and large macro variance, of pre-trained word embeddings that hinder their direct use in neural networks, and propose standardization techniques as a remedy. On the popular Overnight dataset, which contains eight domains, we show that both cross-domain training and standardized pre-trained word embeddings can bring significant improvement.

연구 동기 및 목표

• 도메인 내 학습 데이터가 제한된 저자원 대상 도메인에서 효과적인 의미 분석기를 훈련하는 데 도전하는 것.
• 논리형식을 표준화된 자연어 표현으로 변환함으로써 교차 도메인 의미 분석을 재구성하는 재구성 문제로 환원하는 것.
• 사전 학습된 단어 임베딩의 문제점을 식별하고 해결하여 신경망의 도메인 적응 성능을 향상시키는 것.
• 다양한 논리형식과 어휘를 가진 다양한 도메인 간에 재구성 지식을 전이할 수 있는 일반화 가능하고 유연한 프레임워크를 개발하는 것.

제안 방법

• 의미 분석을 재구성 작업으로 전환하기 위해 논리형식을 표준화된 자연어 표현으로 변환한다.
• 원천 도메인에서 대상 도메인으로의 재구성 매핑을 학습하기 위해 주의 메커니즘을 적용한 순서-순서 모델을 훈련한다.
• 작은 마이크로 분산(최적화에 악영향)과 큰 마크로 분산(일반화에 악영향)이라는 두 가지 문제를 해결함으로써 사전 학습된 단어 임베딩을 표준화한다.
• 저자원 설정에서 모델의 안정성과 성능을 향상시키기 위해 사전 학습된 단어 임베딩(예: word2vec)에 대해 각 예제별 표준화를 적용한다.
• 외부 언어 자원을 다양한 도메인 간 일관되게 통합할 수 있는 통합 프레임워크를 사용한다.
• 여덟 개인 다양한 도메인을 포함한 Overnight 데이터셋에서, 도메인 내 데이터의 양이 다양할 때 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준화된 표현을 중간 표현으로 사용하여 교차 도메인 의미 분석을 재구성 문제로 효과적으로 프레임화할 수 있는가?
• RQ2 사전 학습된 단어 임베딩의 문제점—특히 작은 마이크로 분산과 큰 마크로 분산—은 교차 도메인 설정에서 신경망 훈련에 어떤 영향을 미치는가?
• RQ3 사전 학습된 단어 임베딩을 표준화함으로써 저자원 대상 도메인에서 의미 분석 정확도가 얼마나 향상되는가?
• RQ4 도메인 내 학습 데이터의 양에 따라 교차 도메인 훈련의 이점은 어떻게 변화하는가?

주요 결과

• 제안된 재구성 기반 프레임워크는 도메인 내 학습 데이터가 부족한 경우에 특히 교차 도메인 의미 분석 성능을 뚜렷이 향상시킨다.
• 표준화된 사전 학습된 단어 임베딩은 word2vec 또는 이전 정규화 방법을 직접 사용한 경우 대비 약 10%p의 절대적 정확도 향상을 이룬다.
• 도메인 내 데이터의 양과 교차 도메인 훈련의 성능 향상 간에 부정적 상관관계(r = -0.770)가 존재하여, 데이터가 적은 환경에서 더 큰 이점을 제공함을 시사한다.
• 데이터 샘플링 실험 결과, 도메인 내 데이터가 제한된 경우 교차 도메인 훈련이 가장 큰 성능 향상을 가져오며, 높은 데이터 비율에서야 비로소 전체 데이터 수준에 도달함을 확인하였다.
• Overnight 데이터셋의 여덟 도메인 전반에서 일관된 성능 향상이 관찰되어, 다양한 도메인 간에 강건성과 확장성을 입증하였다.