[논문 리뷰] Curriculum Learning Strategies for IR: An Empirical Study on Conversation Response Ranking

Gustavo Penha, Claudia Hauff|arXiv (Cornell University)|2019. 12. 18.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 대화 응답 순서 매기기에서 신경 순서 매기기 모델을 위한 커리큘럼 학습(Curriculum Learning, CL)을 조사하며, BERT 예측과 관련성 레이블에서 유도된 난이도 점수를 기반으로 훈련 데이터를 재정렬하는 방법을 제안한다. CL은 난이도 평가 및 어려운 예제를 훈련 초반에 서서히 도입함으로써, 무작위 훈련 대비 검색 성능을 최대 2% 향상시키며, 특히 대화 기록, 응답 및 레이블을 모두 사용해 난이도를 평가하고 훈련의 진행 속도를 조절할 경우에 특히 효과적이다.

ABSTRACT

Neural ranking models are traditionally trained on a series of random batches, sampled uniformly from the entire training set. Curriculum learning has recently been shown to improve neural models' effectiveness by sampling batches non-uniformly, going from easy to difficult instances during training. In the context of neural Information Retrieval (IR) curriculum learning has not been explored yet, and so it remains unclear (1) how to measure the difficulty of training instances and (2) how to transition from easy to difficult instances during training. To address both challenges and determine whether curriculum learning is beneficial for neural ranking models, we need large-scale datasets and a retrieval task that allows us to conduct a wide range of experiments. For this purpose, we resort to the task of conversation response ranking: ranking responses given the conversation history. In order to deal with challenge (1), we explore scoring functions to measure the difficulty of conversations based on different input spaces. To address challenge (2) we evaluate different pacing functions, which determine the velocity in which we go from easy to difficult instances. We find that, overall, by just intelligently sorting the training data (i.e., by performing curriculum learning) we can improve the retrieval effectiveness by up to 2%.

연구 동기 및 목표

• 커리큘럼 학습(Curriculum Learning, CL)이 정보 검색(IR) 분야, 특히 대화 응답 순서 매기기에서 신경 순서 매기기 모델을 향상시키는지 조사하는 것.
• IR에서 인스턴스 난이도 정의의 과제를 해결하기 위해 다양한 입력 공간에서 다수의 점수 함수를 평가하는 것.
• 더 어려운 훈련 인스턴스로의 전환에 최적의 진행 속도 함수를 결정하는 것.
• 커리큘럼 학습의 성능 향상이 다양한 대화 도메인, 길이 및 난이도 수준 간에 일관된지 평가하는 것.

제안 방법

• 질의-문서 쌍에 대한 BERT 모델의 예측에서 유도된 난이도 점수를 기반으로 훈련 인스턴스를 재정렬하는 커리큘럼 학습 전략을 제안한다.
• 다섯 가지 난이도 점수 함수를 평가한다: 대화 기록만, 응답만, 대화 기록과 응답 둘 다, 그리고 관련성 레이블 포함 전부의 정보(U, R, Y)를 사용한 경우.
• 선형, root_2, 지수 함수 등의 진행 속도 함수를 사용해 훈련 중 더 어려운 인스턴스가 도입되는 속도를 제어한다.
• BERT를 두 개의 대화 응답 순서 매기기 데이터셋(MSDialog 및 MANtIS)에 맞추어 미세조정한 모델을 점수 계산 및 검색의 기초 모델로 사용한다.
• 표준 IR 메트릭(MAP 및 MRR)을 사용해 CL 전략을 무작위 샘플링 기반의 기준선과 비교한다.
• 통계적 유의성 검정과 오차 분석을 통해 대화 길이, 도메인, 난이도 버킷 별로 성능의 견고성을 검증한다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습은 대화 응답 순서 매기기에서 신경 순서 매기기 모델의 성능을 향상시킬 수 있으며, 만약 그렇다면 얼마나 향상되는가?
• RQ2 U, R, Y 또는 조합 중 어느 입력 공간이 IR 분야에서 커리큘럼 학습의 난이도 점수 함수에 가장 효과적인가?
• RQ3 더 어려운 인스턴스를 도입하는 데 최적의 진행 속도 함수는 무엇인가?
• RQ4 커리큘럼 학습의 성능 향상은 다양한 대화 도메인, 길이 및 난이도 수준 간에 일관된가?

주요 결과

• 커리큘럼 학습은 무작위 훈련 기준선 대비 최대 2% 향상된 검색 성능을 기록하며, MSDialog 및 MANtIS 데이터셋 양쪽 모두에서 통계적으로 유의미한 향상이 관찰된다.
• 관련성 레이블(Y)과 전부의 가용 정보(U, R, Y)를 사용한 점수 함수가 대화 기록이나 응답만을 기반으로 한 것보다 우수하며, BERT_{pred} 및 BERT_{loss}가 가장 높은 향상을 보였다.
• 난이도가 높은 인스턴스를 훈련 초반에 조기에 도입하는 것, 특히 root_2와 같은 진행 속도 함수를 사용할 경우, 더 느리거나 더 빠른 전환보다 더 나은 모델 성능을 얻는다.
• 커리큘럼 학습의 성능 향상은 다양한 대화 도메인, 길이 및 난이도 버킷 전반에 걸쳐 분포되어 있어 광범위한 적용 가능성을 보인다.
• 관련성 레이블을 사용하지 않는 점수 함수는 랜덤 기준선을 뛰어넘지 못하며, 이는 레이블 기반 난이도 추정의 중요성을 강조한다.
• 결과적으로 커리큘럼 학습은 모델 아키텍처를 수정하지 않고도 새로운 신경 아키텍처와 유사한 성능 향상을 이끌 수 있음을 시사한다.