[논문 리뷰] Enhancing Dialogue Generation via Multi-Level Contrastive Learning

Xin Li, Piji Li외 3명|arXiv (Cornell University)|2020. 09. 19.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 대화 생성을 향상시키기 위해 토큰 수준과 인스턴스 수준에서 세분화된 응답 품질을 모델링하는 다수준 대비 학습 프레임워크를 제안한다. Monte-Carlo 롤아웃을 통한 토큰 수준 품질 추정을 위한 랭크 인식 캘리브레이션(RC) 네트워크와 유의미한 단어 생성을 촉진하기 위한 지식 추론(KI) 구성요소를 도입하여, 정제된 대화 데이터셋에서 기존 모델보다 더 관련성 있고 다양한 응답을 생성한다.

ABSTRACT

Most of the existing works for dialogue generation are data-driven models trained directly on corpora crawled from websites. They mainly focus on improving the model architecture to produce better responses but pay little attention to considering the quality of the training data contrastively. In this paper, we propose a multi-level contrastive learning paradigm to model the fine-grained quality of the responses with respect to the query. A Rank-aware Calibration (RC) network is designed to construct the multi-level contrastive optimization objectives. Since these objectives are calculated based on the sentence level, which may erroneously encourage/suppress the generation of uninformative/informative words. To tackle this incidental issue, on one hand, we design an exquisite token-level strategy for estimating the instance loss more accurately. On the other hand, we build a Knowledge Inference (KI) component to capture the keyword knowledge from the reference during training and exploit such information to encourage the generation of informative words. We evaluate the proposed model on a carefully annotated dialogue dataset and the results suggest that our model can generate more relevant and diverse responses compared to the baseline models.

연구 동기 및 목표

• 기존 대화 모델이 모든 학습 샘플을 동일하게 취급하여 세분화된 응답 품질 차이를 간과하는 한계를 해결한다.
• 응답 품질 평가에서 토큰 수준의 균일한 가중치 부여 문제를 해결하여 정보성 단어의 억압이나 일반적인 응답의 유도를 방지한다.
• 훈련 중 골드 표준 응답에서 유의미한 关련 키워드를 명시적으로 모델링하여 응답의 관련성과 다양성을 향상시킨다.
• 시퀀스 생성을 안내하기 위해 인스턴스 수준과 토큰 수준의 품질 감독을 통합한 대비 학습 프레임워크를 개발한다.

제안 방법

• 질의-응답 쌍에 대해 다중 척도의 응답 품질 점수를 추정하기 위해 점추정 회귀와 쌍별 순위 매기기 방식을 사용하는 랭크 인식 캘리브레이션(RC) 네트워크를 설계한다.
• 조건부로 응답을 샘플링하고 품질에 기여하는 바에 따라 개별 토큰에 변수 중요도 점수를 할당하기 위해 몬테카를로 롤아웃을 사용하는 토큰 수준의 품질 추정 전략을 구현한다.
• 질의 및 디코더의 은닉 상태와 연관지켜 골드 표준 응답에서 유의미한 키워드를 캡처하고 유지하는 지식 추론(KI) 구성요소를 도입한다.
• 각 디코딩 단계에 요약된 지식 메모리를 통합하여 유의미하고 맥락적으로 관련성이 높은 단어의 생성을 장려한다.
• RC와 KI 구성요소를 대비 학습 프레임워크 내에 통합하여 응답의 관련성과 정보성에 동시에 최적화한다.
• 응답 수준과 토큰 수준의 품질 감독을 통합한 다수준 대비 목표를 사용하여 모델 훈련을 정교화한다.

실험 결과

연구 질문

• RQ1 토큰 수준에서 세분화된 응답 품질을 모델링하면 대화 시스템에서 생성된 응답의 관련성과 다양성이 향상되는가?
• RQ2 몬테카를로 롤아웃을 통한 토큰 수준 캘리브레이션은 정보성 단어 억압을 방지하기 위해 표준 인스턴스 수준 가중치 부여 방식보다 얼마나 우수한가?
• RQ3 기준 응답에서 키워드 지식을 명시적으로 학습하고 삽입함으로써 생성된 응답의 정보성은 어느 정도 향상되는가?
• RQ4 다수준 대비 학습의 통합은 표준 시퀀스-투-시퀀스 모델과 기존의 품질 인식 기반 베이스라인 모델에 비해 일관된 성능 향상을 이끌어내는가?

주요 결과

• RC와 KI 구성요소를 모두 포함한 제안된 모델은 모든 평가 지표에서 최고의 성능을 기록하여 표준 S2S 및 베이스라인 품질 인식 모델을 압도한다.
• RC 구성요소를 제거하면 평균 6% 감소, Extrema에서 6%, Greedy에서 7% 감소하여 토큰 수준 캘리브레이션의 중요성을 입증한다.
• KI 구성요소는 골드 표준 응답에 존재하지만 일반적으로 생략되는 의미 있는 키워드, 예를 들어 'Fantasy Westward Journey'나 'Baidu' 등의 생성을 효과적으로 촉진한다.
• 시각화 결과는 RC 네트워크가 의미적으로 관련성 있고 정보성 있는 토큰(예: 고향에 대해 논의할 때 'Sichuan', 기상 관련 질의에서 'cloudy')에 더 높은 품질 점수를 할당함으로써 맥락 의존적 중요도를 잘 포착하고 있음을 확인한다.
• 세분화된 품질 감독 덕분에 'oh, yes'나 'I also want to know'와 같은 일반적인 응답의 생성이 감소하여, 낮은 품질의 반복적 출력을 억제한다.
• 제거 실험 결과, RC와 KI 구성요소 모두 필수적임을 입증한다. 둘 중 하나를 제거하면 성능 저하가 발생하며, 특히 RC는 관련성에 더 뚜렷한 부정적 영향을 미친다.