[논문 리뷰] Compositional Generalization via Semantic Tagging

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 논문은 신경망 태거를 통해 입력 문장을 의미 기호(예: 술어 또는 SQL 컬럼)로 태깅한 후, 원래 입력과 태그 시퀀스를 조건으로 하는 시퀀스 투 시퀀스 모델을 사용하여 의미 표현을 생성하는 이단계 신경망 의미 해석 프레임워크를 제안한다. 이 방법은 의미 기호의 분리된, 어휘 스타일의 처리를 가능하게 하고 주의 기반 간섭을 줄여, 다양한 데이터셋과 아키텍처에서 구성적 일반화 성능을 일관되게 향상시킨다.

ABSTRACT

Although neural sequence-to-sequence models have been successfully applied to semantic parsing, they fail at compositional generalization, i.e., they are unable to systematically generalize to unseen compositions of seen components. Motivated by traditional semantic parsing where compositionality is explicitly accounted for by symbolic grammars, we propose a new decoding framework that preserves the expressivity and generality of sequence-to-sequence models while featuring lexicon-style alignments and disentangled information processing. Specifically, we decompose decoding into two phases where an input utterance is first tagged with semantic symbols representing the meaning of individual words, and then a sequence-to-sequence model is used to predict the final meaning representation conditioning on the utterance and the predicted tag sequence. Experimental results on three semantic parsing datasets show that the proposed approach consistently improves compositional generalization across model architectures, domains, and semantic formalisms.

연구 동기 및 목표

• 신경망 시퀀스 투 시퀀스 모델이 이미 본 구성 요소의 새로운 조합에 대해 일반화하지 못하는 데서 기인하는 실패 문제를 해결하기 위해.
• 기존 의미 해석기(예: 명시적 정렬과 분리된 처리)의 상징적 구성성의 이점을 신경망 시퀀스 투 시퀀스 모델에 통합하기 위해.
• 신경망 모델의 표현력을 유지하면서도 테스트 예시의 구조적 및 의미적 변형에 대한 강건성을 향상시키는 디코딩 프레임워크를 설계하기 위해.
• 쿼리 기반 분할 조건에서 다양한 데이터셋, 의미 형식(예: SQL, λ-계산법), 모델 아키텍처를 대상으로 접근법을 평가하기 위해.

제안 방법

• 의미 해석을 두 단계로 분해: 첫째, 신경망 태거가 입력 문장의 각 단어나 구간에 의미 기호(예: 술어 또는 컬럼)를 할당한다.
• 태거는 각 토큰당 의미 기호를 독립적으로 예측하기 위해 전반적인 문맥을 사용하며, 조건부 독립성을 강제하고 언어적 표현과 의미 구성 요소 간 어휘 스타일의 정렬을 가능하게 한다.
• 다음으로, 시퀀스 투 시퀀스 모델이 원래 문장과 예측된 의미 태그 시퀀스를 조건으로 하여 최종 의미 표현을 생성한다.
• 태거는 출력 공간에 대한 소프트 제약 조건으로 작용하여 주의 간섭을 줄이고 개별 의미 구성 요소의 예측 정확도를 향상시킨다.
• 이 프레임워크는 모듈러하며, 어떤 시퀀스 투 시퀀스 모델과 의미 형식과도 호환된다.
• 구성적 일반화 성능을 분리하기 위해 쿼리 기반 분할 조건에서 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 태깅 모듈이 시퀀스 투 시퀀스 의미 해석기에서 의미 구성 요소 예측을 순차적 생성에서 분리함으로써 구성적 일반화 성능을 향상시킬 수 있는가?
• RQ2 기존 방법(예: 데이터 증강 또는 주의력 감시)과 비교해 의미 태깅은 새로운 구성적 구조를 처리하는 데 어떻게 다른가?
• RQ3 의미 태깅으로 얻는 성능 향상은 언어적 표현과 의미 기호 간의 명시적 정렬이 존재할 경우에 얼마나 의존하는가?
• RQ4 이 방법은 다양한 의미 형식(예: SQL 대 λ-계산법)과 모델 아키텍처 간에 일반화되는가?
• RQ5 의미 태깅이 가장 줄이는 예측 오류 유형은 무엇이며, 새로운 오류 패tern을 유도하는가?

주요 결과

• 제안된 의미 태깅 프레임워크는 쿼리 기반 분할 조건에서 세 가지 의미 해석 데이터셋(GeoQuery, WikiSQL, ATIS)에서 일관되게 구성적 일반화 성능을 향상시켰다.
• WikiSQL에서, 이 방법은 coarse2fine 모델의 정확 일치 정확도를 4.3%p 절대적으로 향상시키고 실행 정확도 역시 유사한 수준으로 향상시켰으며, 주로 where 절 예측 향상 덕분이었다.
• LSTM +ST 모델(의미 태깅 포함)은 데이터 증강 기반 방법인 GECA를 능가하여 구성적 일반화 성능에서 뛰어난 성능을 보였으며, 태깅에 의해 도입된 인덕티브 바이어스의 효과를 입증했다.
• 의미 태깅은 특히 복잡하거나 희귀한 구조에서 잘못된 의미 기호를 예측하는 오류를 크게 줄였지만, 부분적 또는 잘못된 쿼리 생성 오류는 약간 증가시켰다.
• GeoQuery에서 λ-계산법을 사용할 경우 의미 기호 예측 정확도는 86.2%에 도달했지만, 최종 쿼리 정확도는 52.1%에 머물렀으며, 이는 기호 수준의 성과가 항상 최종 출력으로 완전히 전이되지 않는다는 것을 시사한다.
• 의미 기호와 언어적 표현 간 정렬이 없는 다리 컬럼을 포함한 SQL 쿼리(예: ATIS 내에서)에서는 이 방법의 성능 향상이 제한적이었으며, 이는 정렬 인식 기반의 기호 선택이 필요함을 시사한다.