[논문 리뷰] MOSS: End-to-End Dialog System Framework with Modular Supervision

Weixin Liang, Youzhi Tian외 2명|arXiv (Cornell University)|2019. 09. 12.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

MOSS는 공유 인코더와 전용 디코더를 통해 자연어 이해, 대화 상태 추적, 대화 정책 학습, 자연어 생성에서의 모듈화된 감독을 통합하는 엔드 투 엔드로 훈련 가능한 대화 프레임워크이다. 복잡한 LaptopNetwork 데이터셋에서 훈련 데이터의 40%만을 사용할 때, MOSS-all은 임무 완료율에서 최신 기술 대비 42% 향상되고 생성 품질에서 7% 향상된다.

ABSTRACT

A major bottleneck in training end-to-end task-oriented dialog system is the lack of data. To utilize limited training data more efficiently, we propose Modular Supervision Network (MOSS), an encoder-decoder training framework that could incorporate supervision from various intermediate dialog system modules including natural language understanding, dialog state tracking, dialog policy learning, and natural language generation. With only 60% of the training data, MOSS-all (i.e., MOSS with supervision from all four dialog modules) outperforms state-of-the-art models on CamRest676. Moreover, introducing modular supervision has even bigger benefits when the dialog task has a more complex dialog state and action space. With only 40% of the training data, MOSS-all outperforms the state-of-the-art model on a complex laptop network troubleshooting dataset, LaptopNetwork, that we introduced. LaptopNetwork consists of conversations between real customers and customer service agents in Chinese. Moreover, MOSS framework can accommodate dialogs that have supervision from different dialog modules at both the framework level and model level. Therefore, MOSS is extremely flexible to update in a real-world deployment.

연구 동기 및 목표

• 엔드 투 엔드로 훈련되는 임무 중심 대화 시스템에서의 데이터 부족 문제를 해결한다.
• 모듈화된 시스템의 장점(rich supervision)과 엔드 투 엔드 훈련의 장점(joint optimization)을 결합하여 샘플 효율성을 향상시킨다.
• 모듈 제거 및 점진적 주석 통합을 지원함으로써 실제 환경에서의 유연한 배포를 가능하게 한다.
• 대화 정책 학습 및 자연어 이해 감독이 복잡한 대화 작업(큰 액션 및 상태 공간을 가짐)에 특히 효과적임을 입증한다.

제안 방법

• 공유 인코더가 입력 발화를 처리하고, 각 대화 모듈(NLU, DST, DPL, NLG)이 자체 디코더를 갖는 통합 인코더-디코더 아키텍처를 제안한다.
• 기호적 출력이 아닌 공유된 은닉 상태를 통해 디코더를 연결함으로써 공동 최적화를 가능하게 하고 오류 전파를 줄인다.
• 각 디코더가 공유 표현의 관련 부분에만 집중할 수 있도록 모듈화된 어텐션 메커니즘을 사용한다.
• 선택된 모듈를 제거한 모델 인스턴스(예: MOSS w/o NLU, MOSS w/o DPL)를 허용함으로써 프레임워크 수준의 유연성을 제공한다.
• 부분 주석(예: NLG 또는 DPL만)을 동일한 프레임워크에 입력할 수 있도록 모델 수준의 적응성을 제공한다.
• 기존 주석 또는 히우리스틱(예: NLU의 경우 상태 차이, DPL의 경우 정규표현식 기반 delexicalization)을 활용해 저비용으로 감독을 생성한다.

실험 결과

연구 질문

• RQ1 여러 중간 대화 모듈의 감독을 통합하면 엔드 투 엔드 대화 훈련에서 샘플 효율성이 향상되는가?
• RQ2 큰 상태 공간과 액션 공간을 가진 복잡한 대화 작업에서 모듈화된 감독은 단순한 정보 탐색 작업에 비해 성능에 어떤 영향을 미치는가?
• RQ3 부분 주석을 활용한 점진적 모델 업데이트를 지원하는 민첩하고 플러그 앤 플레이 가능한 프레임워크는 실제 환경 배포에서 어느 정도 유용한가?
• RQ4 대화 정책 학습 및 자연어 이해 감독의 포함이 필요한 주석 기반 대화 수를 크게 줄이는가?

주요 결과

• CamRest676 데이터셋에서, MOSS-all은 훈련 데이터의 60%만으로도 최신 기술 모델, 특히 TSCP를 능가한다.
• 복잡한 LaptopNetwork 데이터셋에서, MOSS-all은 훈련 데이터의 40%만으로도 최신 기술 모델보다 42% 높은 임무 완료율(Succ.acc)을 달성한다.
• MOSS-all은 대화 정책 학습 감독의 안내 덕분에 최신 기술 모델 대비 생성 품질을 7% 향상시켰다.
• 대화 정책 학습 모듈을 제거한 경우(MOSS w/o DPL), 대화 상태 추적 정확도가 떨어지고 BLEU 점수도 낮아져, 이 모듈이 조율에 핵심적인 역할을 한다는 것을 시사한다.
• 자연어 이해 모듈을 제거한 경우(MOSS w/o NLU), 의미적 입력 손실로 인해 모든 후행 작업에서 성능이 악화된다.
• 사례 연구에서 TSCP는 NLU와 DPL 감독의 부재로 인해 반복적인 단순 응답을 생성하는 경향이 있었지만, MOSS-all은 맥락에 적합하고 목표 중심의 응답을 생성하는 것으로 나타났다.