[논문 리뷰] Dialogue Response Selection with Hierarchical Curriculum Learning

Yixuan Su, Deng Cai외 7명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 35인용 수 7

한 줄 요약

이 논문은 대화 응답 선택을 위한 계층적 커리큘럼 학습(HCL) 프레임워크를 제안한다. 이 프레임워크는 훈련 데이터를 두 가지 상보적인 커리큘럼으로 구성하여 점차 어려워지는 방식으로 모델을 훈련시킨다: 문단 수준(CC)은 긍정 응답에서 일치 신호를 식별하는 데서 어려움을 점차 높이고, 인스턴스 수준(IC)은 부정 응답에서 일치하지 않는 신호를 강화하여 탐지하도록 한다. 이 방법은 여러 최신 모델과 벤치마크 데이터셋에서 성능을 크게 향상시킨다.

ABSTRACT

We study the learning of a matching model for dialogue response selection. Motivated by the recent finding that models trained with random negative samples are not ideal in real-world scenarios, we propose a hierarchical curriculum learning framework that trains the matching model in an "easy-to-difficult" scheme. Our learning framework consists of two complementary curricula: (1) corpus-level curriculum (CC); and (2) instance-level curriculum (IC). In CC, the model gradually increases its ability in finding the matching clues between the dialogue context and a response candidate. As for IC, it progressively strengthens the model's ability in identifying the mismatching information between the dialogue context and a response candidate. Empirical studies on three benchmark datasets with three state-of-the-art matching models demonstrate that the proposed learning framework significantly improves the model performance across various evaluation metrics.

연구 동기 및 목표

• 대화 응답 선택에서 랜덤 음성 샘플링의 한계를 해결하기 위해, 실제 환경에서 강력한 오락성 자료를 다루지 못하는 문제를 해결한다.
• 문맥-응답 쌍 간의 관련성 정도의 다양성을 명시적으로 모델링하여 모델의 일반화 능력을 향상시킨다.
• 긍정 및 부정 예제 학습에서 어려움을 체계적으로 증가시키는 훈련 프레임워크를 개발한다.
• 다양한 매칭 모델과 벤치마크 데이터셋에서 제안된 커리큘럼 학습 접근법의 효과를 평가한다.

제안 방법

• 프레임워크는 긍정 응답 쌍에 대해 어려움이 점차 증가하는 순서로 훈련을 스케줄링하는 문단 수준의 커리큘럼(CC)을 도입한다. 이는 어휘적 및 의미적 일치 신호를 기반으로 한다.
• 인스턴스 수준의 커리큘럼(IC)은 부정 응답의 오락성 강도를 기준으로 순위를 매기고, 훈련 중에 점차 더 어려운 부정 응답을 점진적으로 도입한다.
• CC는 훈련 중 긍정 쌍의 어려움을 제어하는 페이스팅 함수 pcc(t)를 사용한다. 이는 처음에는 쉬운 것을 시작으로 점차 어려운 것으로 전환되며, 최초 어려움 수준 pcc(0)는 최적 성능를 위해 튜닝된다.
• IC는 점차 더 관련성이 높은 서브셋에서 부정 응답을 샘플링하는 데 페이스팅 함수 pic(t)를 사용한다. 이때 kT는 커리큘럼 길이를 결정한다.
• 이 방법은 모델에 종속적이지 않으며, 어떤 매칭 모델과도 통합 가능하다. 이는 맥락-응답 쌍의 점수를 평가하기 위해 랭킹 모델을 사용한다.
• 훈련 과정은 현재 학습 상태에 따라 동적으로 데이터를 선택하여 더 어려운 예제에 점진적으로 노출되도록 보장한다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습이 긍정 및 부정 예제 양쪽에 적용되었을 때 응답 선택 성능을 어떻게 향상시키는가?
• RQ2 모델 성능 측면에서 볼 때, 문단 수준 커리큘럼의 최적 초기 어려움 수준은 무엇인가?
• RQ3 인스턴스 수준 커리큘럼의 길이가 모델의 일반화 능력과 내성에 어떤 영향을 미치는가?
• RQ4 제안된 HCL 프레임워크는 다양한 최신 매칭 모델에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 랭킹 모델 아키텍처의 선택이 HCL 프레임워크의 효과성에 영향을 미치는가?

주요 결과

• HCL 프레임워크는 Douban, Cornell, Ubuntu 세 가지 벤치마크 데이터셋에서 모든 평가 지표에서 성능을 크게 향상시켰다.
• Douban 데이터셋에서 HCL 프레임워크는 가장 높은 성능를 보인 모델(SA-BERT)을 P@1 0.511과 R10@2 0.535로 향상시켰다.
• pcc(0) ≤ 0.3인 문단 수준 커리큘럼은 안정적인 성능을 보였고, pcc(0) = 1.0일 경우 성능 저하가 심하게 발생하여 점진적인 어려움 증가의 필요성을 확인했다.
• 인스턴스 수준 커리큘럼은 kT를 적절히 튜닝함으로써 과적합을 피하거나 어려운 부정 응답을 제대로 활용하지 못하는 것을 방지할 수 있을 때 가장 우수한 성능를 보였다.
• 랭킹 모델의 선택은 성능에 영향을 미치지만, BERT와 같은 강력한 모델조차도 HCL로 향상된 매칭 모델에 뒤지지 않았다. 이는 프레임워크의 내성에 기인한다.
• HCL 프레임워크는 SMN, MSN, SA-BERT 세 가지 다른 매칭 모델에서 일관되게 성능 향상을 이끌었으며, 이는 프레임워크의 일반화 능력을 입증한다.