[논문 리뷰] Encoding Syntactic Knowledge in Transformer Encoder for Intent Detection and Slot Filling

Jixuan Wang, Kai Wei외 3명|arXiv (Cornell University)|2020. 12. 21.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 의도 검출과 슬롯 채우기 작업을 동시에 학습하면서 의존 구문 분석 조상과 품사 태깅을 통한 문법 지식을 다중 작업 학습을 통해 인코딩하는 새로운 트랜스포머 인코더 아키텍처를 제안한다. 의존 구문 분석 트리에서 각 토큰의 전체 문법적 조상 예측을 위해 전용 어텐션 헤드를 학습하고, 품사 태깅과 임베딩을 공유함으로써, 사전 훈련되지 않은 모델 대비 SNIPS와 ATIS 데이터셋에서 각각 F1 점수 1.59% 향상, 정확도 0.85% 향상된 최신 기술 성능을 달성한다. 이는 오직 두 개의 인코더 레이어만으로도 달성된다.

ABSTRACT

We propose a novel Transformer encoder-based architecture with syntactical knowledge encoded for intent detection and slot filling. Specifically, we encode syntactic knowledge into the Transformer encoder by jointly training it to predict syntactic parse ancestors and part-of-speech of each token via multi-task learning. Our model is based on self-attention and feed-forward layers and does not require external syntactic information to be available at inference time. Experiments show that on two benchmark datasets, our models with only two Transformer encoder layers achieve state-of-the-art results. Compared to the previously best performed model without pre-training, our models achieve absolute F1 score and accuracy improvement of 1.59% and 0.85% for slot filling and intent detection on the SNIPS dataset, respectively. Our models also achieve absolute F1 score and accuracy improvement of 0.1% and 0.34% for slot filling and intent detection on the ATIS dataset, respectively, over the previously best performed model. Furthermore, the visualization of the self-attention weights illustrates the benefits of incorporating syntactic information during training.

연구 동기 및 목표

• 의도 검출 및 슬롯 채우기 성능 향상을 위해 트랜스포머 인코더 아키텍처에 직접적으로 문법 지식을 통합하기 위해.
• 추론 시 외부 문법 정보가 필요 없도록 훈련 단계에서 문법 지도를 학습함으로써 이를 제거하기 위해.
• 의존 구문 분석 조상과 품사 태깅에서의 공동 훈련이 어텐션 학습 및 모델 일반화 능력에 미치는 영향을 조사하기 위해.
• 사전 훈련 없이도 문법 지도가 어텐션 패턴과 모델 성능 향상에 기여함을 보여주기 위해.

제안 방법

• 모델은 의도 검출, 슬롯 채우기, 의존 구문 분석 조상 예측, 품사 태깅을 동시에 학습하기 위한 다중 작업 학습 프레임워크를 사용한다.
• 특수화된 트랜스포머 인코더 레이어 내의 전용 어텐션 헤드가 의존 구문 분석 트리 기반으로 각 토큰의 전체 문법적 조상 예측을 학습한다.
• NLU 작업과 공유된 인코더 브랜치를 통해 품사 태깅을 수행함으로써, 더 강력한 문법 표현 학습을 촉진한다.
• 표준 트랜스포머 인코더 레이어를 사용하며, 멀티헤드 자기어텐션, 피드포워드 네트워크, 레이어 정규화, 잔차 연결을 포함한다.
• 문법 지도는 훈련 중에만 적용되며 추론 시에는 필요 없어, 엔드 투 엔드 배포가 가능하다.
• 모델은 F1 점수와 정확도를 평가 지표로 사용하여 SNIPS 및 ATIS 벤치마크 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 추론 시 외부 문법 정보가 필요 없이 다중 작업 학습을 통해 문법 지식을 인코딩하면 의도 검출 및 슬롯 채우기 성능 향상이 가능할까?
• RQ2 의존 구문 분석 예측을 위한 전용 어텐션 헤드를 학습하면 더 나은 어텐션 패턴과 모델 성능 향상이 이루어질까?
• RQ3 문법 지도는 트랜스포머 인코더의 어텐션 가중치 분포에 어떤 영향을 미치는가?
• RQ4 의존 구문 분석 지식을 통합한 최소한의 아키텍처(두 개의 트랜스포머 인코더 레이어)가 최신 기술 성능을 달성할 수 있을까?

주요 결과

• SNIPS 데이터셋에서, 이전까지 가장 우수한 성능을 보였던 사전 훈련되지 않은 모델 대비 절대 F1 점수 1.59% 향상 및 정확도 0.85% 향상된 성능을 달성했다.
• ATIS 데이터셋에서, 이전 최신 기술 성능 모델 대비 절대 F1 점수 0.1% 향상 및 정확도 0.34% 향상된 성능을 달성했다.
• 어텐션 가중치 시각화 결과, 문법 지도가 적용된 모델은 특히 장거리 의존성에서 더 구조적이고 정보적인 어텐션 패턴을 형성하는 것으로 나타났다.
• 의존 구문 분석 예측을 위한 어텐션 헤드는 문법적으로 관련된 조상에 더 강하게 어텐션을 기울이며, 더 나은 문맥 표현을 향상시킨다.
• 제거 실험 결과, 의존 구문 분석과 품사 태깅 모두 성능 향상에 기여하며, 특히 의존 구문 분석 지도가 더 큰 영향을 미친다.
• 의존 구문 분석의 인덕티브 바이어스가 효과적으로 통합된 덕분에, 오직 두 개의 트랜스포머 인코더 레이어만으로도 최신 기술 성능을 달성하였다. 이는 효율성과 효과성을 입증한다.