[논문 리뷰] Learning Semantic Parsers from Denotations with Latent Structured Alignments and Abstract Programs

Bailin Wang, Ivan Titov외 1명|arXiv (Cornell University)|2019. 09. 09.

Topic Modeling참고 문헌 47인용 수 4

한 줄 요약

이 논문은 자연어 질문과 프로그램 구성 요소 간의 구조적 잠재적 정렬을 모델링하고, 추상 프로그램을 도입하여 검색 공간을 줄임으로써 일반화 능력을 향상시키는 약한 지도 학습 기반 신경 의미 분석기를 제안한다. 유일한 스팬-슬롯 매핑 등의 정렬 제약 조건을 적용함으로써, 정확한 프로그램과 부정확한 프로그램을 효과적으로 구별하며, WikiTableQuestions와 WikiSQL에서 최신 성능을 달성한다.

ABSTRACT

Semantic parsing aims to map natural language utterances onto machine interpretable meaning representations, aka programs whose execution against a real-world environment produces a denotation. Weakly-supervised semantic parsers are trained on utterance-denotation pairs treating programs as latent. The task is challenging due to the large search space and spuriousness of programs which may execute to the correct answer but do not generalize to unseen examples. Our goal is to instill an inductive bias in the parser to help it distinguish between spurious and correct programs. We capitalize on the intuition that correct programs would likely respect certain structural constraints were they to be aligned to the question (e.g., program fragments are unlikely to align to overlapping text spans) and propose to model alignments as structured latent variables. In order to make the latent-alignment framework tractable, we decompose the parsing task into (1) predicting a partial "abstract program" and (2) refining it while modeling structured alignments with differential dynamic programming. We obtain state-of-the-art performance on the WIKITABLEQUESTIONS and WIKISQL datasets. When compared to a standard attention baseline, we observe that the proposed structured-alignment mechanism is highly beneficial.

연구 동기 및 목표

• 프로그램이 올바르게 실행되지만 일반화되지 않는 약한 지도 학습 기반 의미 분석에서의 부정확한 프로그램 문제를 해결한다.
• 행과 열 선택과 같은 고수준 연산을 포괄하는 추상 프로그램을 도입하여 가능한 프로그램의 검색 공간을 줄인다.
• 비중첩, 이단사 정렬과 같은 구조적 제약 조건을 인덕티브 바이어스로 통합하여 의미적으로 일관된 프로그램을 선호한다.
• 두 단계의 계산 가능 프레임워크를 개발한다: 먼저 추상 프로그램을 예측하고, 그 다음 잠재적 정렬에 기반한 구조적 어텐션을 사용해 이를 구체화한다.
• 저수준의 엔티티 기반 구체화에서 추상 프로그램 생성을 분리함으로써, 새로운 테이블과 희귀 엔티티에 대한 강건성을 향상시킨다.

제안 방법

• 의미 분석을 두 단계로 분해한다: (1) 시퀀스-투-시퀀스 모델이 질문에서 추상 프로그램을 생성하고, (2) 국소 분류기가 구조적 어텐션을 사용해 슬롯을 구체화한다.
• 질문 스팬과 프로그램 슬롯 간의 정렬을 구조적 잠재 변수로 모델링하고, 유일성 및 비중첩과 같은 제약 조건을 강제한다.
• 학습 중에 정렬 엣지의 마진 확률을 효율적으로 계산하기 위해 미분형 동적 프로그래밍을 사용한다.
• 정렬 점수에 기반해 입력 표현을 가중치 부여하는 구조적 어텐션을 적용하여 슬롯 구체화 정확도를 향상시킨다.
• 두 단계의 학습 프로세스를 도입한다: 먼저 추상 프로그램 생성기를 학습하고, 그 다음 정렬 모델링과 함께 인스턴스화 모듈을 공동으로 미세조정한다.
• 동일한 텍스트 스팬에 여러 연산을 할당하는 정렬을 방지함으로써, 부정확한 프로그램을 억제하는 제약 조건을 강제한다.

실험 결과

연구 질문

• RQ1 구조적 잠재 정렬이 약한 지도 학습 기반 의미 분석에서 부정확한 프로그램에 대한 의존도를 줄임으로써 일반화 능력을 향상시킬 수 있는가?
• RQ2 추상 프로그램의 사용이 테이블 기반 의미 분석에서 표현력을 유지하면서 검색 공간을 얼마나 효과적으로 줄이는가?
• RQ3 비전이성과 비중첩과 같은 정렬 제약 조건이 정확한 프로그램과 부정확한 프로그램을 구별하는 데 얼마나 기여하는가?
• RQ4 잠재 정렬을 구조적 잠재 변수로 모델링하면 WikiTableQuestions와 WikiSQL과 같은 벤치마크 데이터셋에서 성능 향상에 기여하는가?
• RQ5 기본 어텐션 메커니즘과 비교해 본다면, 제안된 방법이 인스턴스화 오류와 커버리지 갭을 다루는 데 얼마나 효과적인가?

주요 결과

• 제안된 분석기는 WikiTableQuestions와 WikiSQL 양쪽에서 최신 성능을 달성하며, 표준 어텐션 기반 베이스라인을 능가한다.
• 실증 분석 결과, 구조적 정렬 메커니즘이 표준 어텐션에 비해 인스턴스화 오류를 크게 줄이는 것으로 나타났다. 특히 잘못된 컬럼 이름이나 필터 조건으로 인한 오류가 감소했다.
• 모델은 추상 프로그램 생성 오류 비율이 낮아, 보다 신뢰할 수 있는 추상 프로그램 생성 능력을 보였다.
• 커버리지 오류는 여전히 도전 과제이며, 주로 지원되지 않는 연산과 엔티티 연결 실패로 인해 발생하지만, 인스턴스화 오류보다 빈도가 낮았다.
• 구조적 정렬 모델은 동일한 질문 스팬에 여러 연산을 할당하는 등의 정렬 제약 조건을 위반함으로써 부정확한 프로그램을 효과적으로 억제한다.
• 제거 실험 결과, 구조적 정렬에서 유도된 인덕티브 바이어스가 특히 부정확한 프로그램이 정확한 denotation를 생성하지만 의미적으로 일관성이 없는 경우에 강건성을 향상시킨다는 것이 확인되었다.