[논문 리뷰] Jointly Learning Semantic Parser and Natural Language Generator via Dual Information Maximization

Hai Ye, Wenjie Li외 1명|arXiv (Cornell University)|2019. 06. 03.

Topic Modeling참고 문헌 48인용 수 4

한 줄 요약

이 논문은 자연어와 의미 표현 간 상호정보량을 최대화하기 위해 변분 하한을 사용하여 의미 구문 분석기와 자연어 생성기를 함께 훈련하기 위해 이중 정보 최대화(DIM)를 제안한다. 대화 관리 및 코드 생성 데이터셋에서의 실험 결과, 지도 학습 및 준지도 학습 설정 모두에서 두 작업에서 일관된 성능 향상이 관찰되었다.

ABSTRACT

Semantic parsing aims to transform natural language (NL) utterances into formal meaning representations (MRs), whereas an NL generator achieves the reverse: producing a NL description for some given MRs. Despite this intrinsic connection, the two tasks are often studied separately in prior work. In this paper, we model the duality of these two tasks via a joint learning framework, and demonstrate its effectiveness of boosting the performance on both tasks. Concretely, we propose a novel method of dual information maximization (DIM) to regularize the learning process, where DIM empirically maximizes the variational lower bounds of expected joint distributions of NL and MRs. We further extend DIM to a semi-supervision setup (SemiDIM), which leverages unlabeled data of both tasks. Experiments on three datasets of dialogue management and code generation (and summarization) show that performance on both semantic parsing and NL generation can be consistently improved by DIM, in both supervised and semi-supervised setups.

연구 동기 및 목표

• 의미 구문 분석과 자연어 생성 간의 본질적 이중성에도 불구하고 이 둘 간의 공동 모델링 부족 문제를 해결한다.
• 통합 학습 프레임워크를 통해 두 모델 간 상호보완적 성질을 활용하여 양 작업의 성능 향상을 도모한다.
• 자연어와 의미 표현 간의 이중 정보를 포괄하는 정규화 방법을 개발한다.
• 양 작업의 비라벨 데이터를 활용하여 지도 학습 프레임워크를 준지도 학습 환경으로 확장한다.
• 실제 대화 관리 및 코드 생성 데이터셋에서의 공동 학습의 유효성을 입증한다.

제안 방법

• 자연어(x)와 의미 표현(y)의 공동 분포를 모델링하여 의미 구문 분석과 자연어 생성 간의 이중성을 표현하고, 알려지지 않은 진짜 분포 P(x,y)를 근사한다.
• 구문 분석기 pθ(y|x)와 생성기 qϕ(x|y) 양측의 기대 공동 분포에 대한 변분 하한을 최적화하기 위해 이중 정보 최대화(DIM)를 제안한다.
• Barber와 Agakov(2003) 및 Zhang 등(2018)의 영감을 받은 변분 근사 방법을 사용하여 두 모델 간의 이중 정보를 최대화한다.
• 의미 구문 분석 및 자연어 생성 양쪽 작업의 지도 학습 목표와 함께 DIM을 정규화 항으로 통합한다.
• 비라벨 데이터에서의 비지도 학습 목표를 통합하여 DIM을 준지도 학습용 SemiDIM로 확장한다.
• 비지도 구성 요소에 대해 REINFORCE 기반 정책 그래เดียน트를 사용하여 확률적 경사 하강법으로 공동 목표를 최적화한다.

실험 결과

연구 질문

• RQ1 의미 구문 분석과 자연어 생성을 함께 학습하는 것이 별도로 훈련하는 것보다 두 작업의 성능 향상에 기여하는가?
• RQ2 이중 정보 최대화(DIM)는 구문 분석과 생성 간의 구조적 이중성을 얼마나 잘 포착하는가?
• RQ3 SemiDIM를 통해 비라벨 데이터를 활용하면 자원이 제한된 환경에서 성능 향상이 추가로 이루어지는가?
• RQ4 공동 훈련 프레임워크에서 지도 학습 신호와 비지도 학습 신호 간 최적의 무게 조정 비율은 무엇인가?
• RQ5 다양한 하이퍼파rameter 설정에서 의미 구문 분석기와 생성기의 성능 향상 정도는 얼마나 상관관계가 있는가?

주요 결과

• DIM는 ATIS, Django, CoNaLa 세 가지 데이터셋에서 의미 구문 분석 및 자연어 생성 양 측면에서 일관되게 성능 향상을 이끌어냈다.
• SemiDIM를 통한 준지도 학습은 특히 자원이 제한된 환경에서 비라벨 데이터를 활용해 상당한 성능 향상을 달성했다.
• 이중 정보와 비지도 손실 간 무게 조정을 담당하는 하이퍼파ram터 λ가 0.1~1.0 범위에 있을 때 최적의 성능이 달성되었다.
• λ = 0일 때 성능 저하가 관찰되어 비지도 신호가 강건한 공동 학습을 위해 필수적임을 시사한다.
• 의미 구문 분석기와 생성기의 성능 간 피어슨 상관계수(r > 0.8)가 높게 관찰되어 공동 프레임워크 내에서 강한 상호 적응이 이루어짐을 시사한다.
• 독립적으로 훈련된 경쟁적 기준 모델보다 공동 모델이 더 뛰어난 성능을 보여 이중 학습의 이점을 입증했다.