[논문 리뷰] Multi-Task Learning for Situated Multi-Domain End-to-End Dialogue Systems

Po-Nien Kung, Chung‐Cheng Chang외 4명|arXiv (Cornell University)|2021. 10. 11.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

이 논문은 한 개의 GPT-2 기반 모델을 사용하여 실내 환경에서 다영역, 종단 간 대화 시스템에서 신뢰 상태 추적, 응답 생성, 동작 예측을 동시에 수행하는 다중 작업 학습 프레임워크를 제안한다. 입력 수정 기법으로 동작 기반화 및 마스킹된 역사 손실을 통합함으로써, 단일 통합 아키텍처로 가구 및 패션 영역 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Task-oriented dialogue systems have been a promising area in the NLP field. Previous work showed the effectiveness of using a single GPT-2 based model to predict belief states and responses via causal language modeling. In this paper, we leverage multi-task learning techniques to train a GPT-2 based model on a more challenging dataset with multiple domains, multiple modalities, and more diversity in output formats. Using only a single model, our method achieves better performance on all sub-tasks, across domains, compared to task and domain-specific models. Furthermore, we evaluated several proposed strategies for GPT-2 based dialogue systems with comprehensive ablation studies, showing that all techniques can further improve the performance.

연구 동기 및 목표

• 모듈식이고 작업에 특화된 대화 시스템의 한계를 해결하기 위해 신뢰 상태 추적, 응답 생성, 동작 예측을 하나의 종단 간 모델로 통합한다.
• 다중 작업 학습을 통한 지식 전이를 활용하여 다영역, 다중 모달 대화 시스템의 성능을 향상시킨다.
• 통합 텍스트-투-텍스트 프레임워크에서 생성 및 분류 성능을 향상시키는 데 효과적인 입력 수정 및 훈련 전략을 탐색한다.
• 단일 GPT-2 모델이 다양한 대화 하위 작업에서 작업 및 영역에 특화된 모델들을 능가할 수 있음을 보여준다.
• 복잡한 실생활 대화 시나리오에서 반복 예측 및 입력 공학을 통한 다중 작업 훈련의 효과성을 검증한다.

제안 방법

• 모델은 대화 역사 및 다중 모달 입력(사용자 발화, 시각적 객체, 동작 정보 등)을 처리하기 위해 공유된 GPT-2 인코더를 사용한다.
• 모델은 작업 전용 접두어와 자동회귀 생성을 사용하여 순차적으로 신뢰 상태, 응답, 동작을 예측하는 순차적 다중 작업 훈련 목표를 적용한다.
• 핵심 입력 수정 기법으로는 응답을 동작 토큰에 기반하여 기반화하고, 신뢰 상태를 의도와 슬롯 구성요소로 분할하여 더 나은 모호성 제거를 수행한다.
• 모델은 훈련 중 과거 대화 턴을 마스킹함으로써 맥락 모델링 및 일반화 능력을 향상시키는 마스킹된 역사 손실(MHL)을 적용한다.
• 구간 임bedding은 서로 다른 대화 턴을 구분하는 데 사용되며, 추론 분석 결과 성능에 미치는 영향은 최소한이다.
• 모델는 가구 및 패션 데이터셋을 공동으로 미세조정하여 다영역 훈련을 지원함으로써 저자원 영역의 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 한 개의 GPT-2 기반 모델이 다영역, 다중 모달 환경에서 동시에 신뢰 상태 추적, 응답 생성, 동작 예측이라는 여러 대화 하위 작업을 효과적으로 처리할 수 있는가?
• RQ2 응답 토큰 추가 및 신뢰 상태 분할과 같은 입력 수정 기법이 다양한 영역에서 모델 성능에 미치는 영향은 어떠한가?
• RQ3 다영역 훈련이 특히 저자원 영역인 패션 영역에서 성능 향상에 얼마나 기여하는가?
• RQ4 마스킹된 역사 손실이 종단 간 대화 시스템의 생성 및 분류 작업 전반에서 성능 향상에 기여하는가?
• RQ5 텍스트-투-텍스트 생성이 복잡한 다중 레이블 동작 및 속성 예측 작업에 대해 경쟁적인 정확도로 효과적으로 적용될 수 있는가?

주요 결과

• 모든 제안된 기능을 포함한 전체 모델은 모든 하위 작업 및 영역에서 최고의 성능을 달성하며, 베이스라인 모델과 작업에 특화된 아키텍처를 모두 능가한다.
• 입력에 동작 정보를 추가하면 응답 생성 및 신뢰 상태 추적 성능이 크게 향상되며, 특히 패션 영역에서 두드러진다. 이 정보를 제거하면 성능에 뚜렷한 하락이 발생한다.
• 다영역 훈련은 저자원 영역인 패션 영역의 성능 향상에 기여하며, 두 영역 모두에서 API 및 신뢰 상태 예측 성능 향상에 기여한다.
• 마스킹된 역사 손실은 생성 작업 전반에서 일관되게 성능 향상을 이끌어내며, 특히 패션 데이터셋에서 분류 작업에 유의미한 이점을 제공한다.
• 모델는 패션 속성 예측에서 놀라운 79%의 정확도를 달성하여 텍스트-투-텍스트 생성이 복잡한 다중 레이블 분류 작업에 대해 실현 가능함을 입증한다.
• 더 작은 모델(gpt2-small)을 사용하고 역사 정보로 두 턴만을 활용함에도 불구하고 강력한 성능을 기록하여, 더 큰 모델과 더 긴 맥락을 활용할 경우 확장 가능성이 있음을 시사한다.