[논문 리뷰] Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization

Lei Shen, Haolan Zhan외 4명|arXiv (Cornell University)|2021. 09. 14.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 개방형 대화 시스템에서 신뢰할 수 없는 훈련 샘플을 식별하기 위해 베이지안 최적화 기반의 데이터 필터링 방법을 제안한다. 이 방법은 일곱 가지 대화 속성(특이성, 반복성, 관련성, 연속성, 일관성, 유창성, 일관성)을 가중치 기반의 통합 품질 측도로 조합하여 적용한다. 이 방법은 검증 세트에서 베이지안 최적화를 통해 속성 가중치를 최적화하고, 낮은 점수를 받는 샘플을 필터링하며, 재훈련 속도를 높이기 위해 하이브리드 MLE-NEG 훈련 프레임워크를 사용한다. 그 결과, 두 개의 벤치마크 데이터셋에서 응답 품질이 향상되었다.

ABSTRACT

Being able to reply with a related, fluent, and informative response is an indispensable requirement for building high-quality conversational agents. In order to generate better responses, some approaches have been proposed, such as feeding extra information by collecting large-scale datasets with human annotations, designing neural conversational models (NCMs) with complex architecture and loss functions, or filtering out untrustworthy samples based on a dialogue attribute, e.g., Relatedness or Genericness. In this paper, we follow the third research branch and present a data filtering method for open-domain dialogues, which identifies untrustworthy samples from training data with a quality measure that linearly combines seven dialogue attributes. The attribute weights are obtained via Bayesian Optimization (BayesOpt) that aims to optimize an objective function for dialogue generation iteratively on the validation set. Then we score training samples with the quality measure, sort them in descending order, and filter out those at the bottom. Furthermore, to accelerate the "filter-train-evaluate" iterations involved in BayesOpt on large-scale datasets, we propose a training framework that integrates maximum likelihood estimation (MLE) and negative training method (NEG). The training method updates parameters of a trained NCMs on two small sets with newly maintained and removed samples, respectively. Specifically, MLE is applied to maximize the log-likelihood of newly maintained samples, while NEG is used to minimize the log-likelihood of newly removed ones. Experimental results on two datasets show that our method can effectively identify untrustworthy samples, and NCMs trained on the filtered datasets achieve better performance.

연구 동기 및 목표

• 일반적이거나 일관성 없거나 관련 없는 응답을 유도하는 신뢰할 수 없는 훈련 샘플 문제를 해결하기 위해.
• 모델 아키텍처나 손실 함수 수정에만 의존하지 않고, 저품질 훈련 데이터를 필터링하여 대화 생성 품질을 향상시키기 위해.
• 단일 메트릭에 의존하지 않고, 여러 대화 속성을 통합한 통합 품질 측도로 구성된 데이터 필터링 방법을 개발하기 위해.
• 검증 세트에서 성능을 최대화하기 위해 이러한 속성의 가중치를 베이지안 최적화를 통해 최적화하기 위해.
• 대규모 데이터셋에서 반복적인 필터링-훈련-평가 과정을 가속화하기 위해 새로운 MLE-NEG 미세조정 전략을 통해 효율적인 반복을 가능하게 하기 위해.

제안 방법

• 품질 측도 𝑆는 일곱 가지 대화 속성(특이성, 반복성, 관련성, 연속성, 일관성, 유창성, 일관성)의 선형 조합으로 정의된다.
• 𝑆 내의 속성 가중치는 검증 세트에서 대화 생성 목표 함수를 최대화하기 위해 베이지안 최적화(BayesOpt)를 통해 최적화된다.
• 목표 함수는 BLEU, 퍼플렉서티, Distinct-n, 그리고 내응답 다양성과 같은 자동 평가 메트릭에 기반한다.
• 최적화된 𝑆를 사용해 샘플을 점수화하고 내림차순으로 정렬한 후, 낮은 점수를 받는 샘플을 필터링한다.
• 최근 유지된 샘플에 대해 최대우도추정(MLE)과 최근 제거된 샘플에 대해 부정적 훈련(NEG)을 통합한 새로운 훈련 프레임워크가 제안되어 재훈련 속도를 높인다.
• 변경된 샘플의 소규모 동적 세트를 기반으로 모델 파라미터를 업데이트함으로써, 대규모 데이터셋에서의 효율적인 '필터-훈련-평가' 반복을 가능하게 한다.

실험 결과

연구 질문

• RQ1 일곱 가지 대화 속성을 통합한 다중 속성 품질 측도가 단일 속성 기반 필터링보다 신뢰할 수 없는 대화 샘플을 더 잘 식별할 수 있는가?
• RQ2 베이지안 최적화가 대화 데이터 필터링을 위한 최적의 속성 가중치를 학습하는 데 얼마나 효과적인가?
• RQ3 제안된 MLE-NEG 미세조정 전략이 대규모 데이터셋에서 반복적인 데이터 필터링 과정 동안 훈련 시간을 크게 단축시킬 수 있는가?
• RQ4 최적화된 품질 측도 기반으로 데이터를 필터링하면 자동 평가 및 인간 평가 메트릭에서 성능 향상이 이루어지는가?
• RQ5 원본 데이터나 단일 속성 기반 필터링 데이터로 훈련된 대화 모델과 비교해, 필터링된 데이터로 훈련된 모델의 성능은 어떻게 되는가?

주요 결과

• 베이지안 최적화된 가중치를 통해 일곱 가지 대화 속성을 조합한 제안된 방법은 두 개의 벤치마크 데이터셋에서 모든 자동 평가 메트릭에서 최고의 성능을 기록했다.
• DailyDialog 데이터셋에서 필터링된 모델은 BLEU 점수 0.80을 기록했으며, 베이스라인(0.46) 대비 17% 상대적 향상되었고, 퍼플렉서티는 46.06으로 베이스라인(48.98)보다 유의미하게 낮았다.
• 필터링된 데이터로 훈련된 모델은 Distinct-3 점수 1.70을 기록하여, 베이스라인(0.27) 대비 더 높은 응답 다양성을 보였다.
• MLE-NEG 훈련 프레임워크는 효율적인 재훈련을 가능하게 하여, 대규모 데이터셋에서 반복적 필터링의 시간 소모를 줄였다.
• 베이지안 최적화가 넓은 가설 공간을 탐색하고 반복 과정에서 검증 메트릭을 일관되게 향상시켰으며, J-값 곡선을 통해 이를 확인할 수 있었다.
• 일관성, 관련성, 유창성 등의 단일 속성 기반 필터링보다도 제안된 방법이 뛰어난 성능을 보였으며, 다각도 품질 평가의 우수성을 입증했다.