[논문 리뷰] When Life Gives You Lemons, Make Cherryade: Converting Feedback from Bad Responses into Good Labels

Weiyan Shi, Emily Dinan외 3명|arXiv (Cornell University)|2022. 10. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 Juicer라는 프레임워크를 제안하며, 실제 인간-봇 상호작용에서 발생하는 희박한 이진 피드백과 자유형 텍스트 피드백을 바탕으로 만족도 분류기와 응답 수정기 모델을 훈련시켜 고품질의 훈련 데이터를 생성한다. 이러한 모델에 의해 생성된 수정 사항을 대화 모델에 통합함으로써 Juicer는 100% 골드 피드백으로 미세조정된 모델과 비교해 유사한 성능을 달성하며, 특히 응답 품질 향상을 위해 Director 모델을 결합할 경우 더욱 향상된다.

ABSTRACT

Deployed dialogue agents have the potential to integrate human feedback to continuously improve themselves. However, humans may not always provide explicit signals when the chatbot makes mistakes during interactions. In this work, we propose Juicer, a framework to make use of both binary and free-form textual human feedback. It works by: (i) extending sparse binary feedback by training a satisfaction classifier to label the unlabeled data; and (ii) training a reply corrector to map the bad replies to good ones. We find that augmenting training with model-corrected replies improves the final dialogue model, and we can further improve performance by using both positive and negative replies through the recently proposed Director model.

연구 동기 및 목표

• 배포된 대화 시스템에서 사용자가 이진 찬반 또는 골드 수정 사항을 거의 제공하지 않는 희박한 피드백 문제를 해결하기 위해.
• 일반적으로 불만을 표현할 때 제공되는 풍부한 자유형 텍스트 피드백을 활용하여 모델 훈련 신호를 개선하기 위해.
• 피드백을 기반으로 잘못된 봇 응답에 대한 고품질 수정 사항을 자동으로 생성하는 프레임워크를 개발하기 위해.
• 실제 운영 중에 수집된 유기적인, 실제 세계의 피드백 신호만을 사용하여 대화 모델의 성능을 향상시키기 위해.
• 모델에 의해 생성된 수정 사항이 전체 골드 레이블 데이터로 훈련된 모델의 성능을 따라하거나 뛰어넘을 수 있는지 평가하기 위해.

제안 방법

• 기존의 이진 피드백을 기반으로 이진 만족도 분류기를 훈련시어 봇 응답이 만족스러운지 여부를 예측한다.
• 나쁜 봇 출력과 문제를 설명하는 자유형 텍스트 피드백을 조건으로 하여 개선된 응답을 생성하는 응답 수정기 모델을 훈련시킨다.
• 훈련된 만족도 분류기를 사용하여 데이터셋 내 레이블이 없는 봇 응답을 라벨링함으로써 피드백 범위를 확장한다.
• 만족도가 낮은 출력에 대해 응답 수정기를 사용하여 수정된 응답을 생성함으로써 합성된 고품질 훈련 예제를 만든다.
• 생성된 수정 사항을 원본 훈련 데이터에 통합하고 최종 대화 모델을 재훈련한다.
• 양성 및 음성 응답 신호를 동시에 최적화하여 생성 품질을 향상시키기 위해 Director 모델을 적용한다.

실험 결과

연구 질문

• RQ1 자유형 텍스트 피드백이 대화 시스템의 만족도 분류기와 응답 수정기 모델을 효과적으로 훈련시키는 데에 활용될 수 있는가?
• RQ2 모델에 의해 생성된 수정 사항을 훈련 데이터에 통합할 경우, 골드 수정 사항만을 사용할 때보다 대화 모델의 성능이 향상되는가?
• RQ3 Juicer와 Director 모델의 조합이 개별적으로 사용할 경우보다 더 높은 응답 품질을 달성할 수 있는가?
• RQ4 Juicer의 성능이 상한선로 간주되는 100% 골드 레이블 데이터로 훈련된 모델과 비교해 어떻게 되는가?
• RQ5 만족도 분류기의 품질이 피드백 변환 파이프라인의 최종 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 자유형 텍스트 피드백은 만족도 분류기와 응답 수정기 양쪽 모두의 성능을 크게 향상시켜 나쁜 응답을 효과적으로 식별하고 수정할 수 있도록 한다.
• 골드 수정 사항만을 사용하는 것에 비해, 모델에 의해 생성된 수정 사항을 훈련 데이터에 통합함으로써 검증 및 미사용 테스트 세트에서 F1 스코어가 향상되며, 각각 18.5 vs. 18.0을 기록한다.
• Director 모델을 적용하면 성능이 추가로 향상되어 인간 평가에서 45.5%의 양호한 응답 비율을 달성하며, Juicer 단독 사용 시보다 뛰어난 성능을 보인다(41.9%).
• 최적의 Juicer 모델은 100% 골드 데이터로 훈련된 모델과 유사한 성능을 달성한다: F1 스코어는 17.7(비교 대상 17.6), 인간 평가에서 양호한 응답 비율은 45.5%(비교 대상 47.0%)를 기록한다.
• 가장 확신 있는 수정 사항만을 선택하기 위해 임계값을 사용하면 성능 향상이 이루어지며, 저품질 예측으로 인한 성능 저하를 방지할 수 있다.
• 기본 모델이 100% 골드 레이블을 사용하더라도 Juicer 프레임워크는 희박한 피드백에서 효과적인 신호를 추출함으로써 더 뛰어난 성능을 보인다.