[논문 리뷰] Unsupervised Contextual Paraphrase Generation using Lexical Control and Reinforcement Learning

Sonal Garg, Sumanth Prabhu외 2명|arXiv (Cornell University)|2021. 03. 23.

Topic Modeling참고 문헌 38인용 수 10

한 줄 요약

이 논문은 고객 지원 채팅에서 에이전트 응답의 문맥적 역설적 표현을 생성하기 위한 비지도 학습 프레임워크를 제안한다. 어휘 제어와 강화학습(RL)을 활용하여, 원본 응답의 핵심 단어와 대화 맥락을 통합함으로써 다양한, 유창하며 의미적으로 유사한 역설적 표현을 생성한다. 복합 평가 지표(의미 유사도, 텍스트 함의, 표현 다양성, 유창성)를 사용해 강화학습으로 미세조정한 결과, F1 스코어 0.753으로 가장 높은 성능을 기록하였다.

ABSTRACT

Customer support via chat requires agents to resolve customer queries with minimum wait time and maximum customer satisfaction. Given that the agents as well as the customers can have varying levels of literacy, the overall quality of responses provided by the agents tend to be poor if they are not predefined. But using only static responses can lead to customer detraction as the customers tend to feel that they are no longer interacting with a human. Hence, it is vital to have variations of the static responses to reduce monotonicity of the responses. However, maintaining a list of such variations can be expensive. Given the conversation context and the agent response, we propose an unsupervised frame-work to generate contextual paraphrases using autoregressive models. We also propose an automated metric based on Semantic Similarity, Textual Entailment, Expression Diversity and Fluency to evaluate the quality of contextual paraphrases and demonstrate performance improvement with Reinforcement Learning (RL) fine-tuning using the automated metric as the reward function.

연구 동기 및 목표

• 고객 지원 채팅에서 반복적이고 정형화된 응답이 사용자 경험을 떨어뜨리지만, 응답 품질은 높은 문제를 해결하기 위해.
• 라벨이 없는 훈련 데이터를 요구하지 않고도 다양한, 문맥적으로 관련성 있고 유창한 원본 응답의 역설적 표현을 생성하기 위해.
• 의미 유사도, 텍스트 함의, 표현 다양성, 유창성의 조합으로 구성된 자동 평가 지표를 개발하여 역설적 표현 품질을 평가하기 위해.
• 복합 지표를 보상 함수로 사용해 강화학습으로 미세조정하여 역설적 표현 품질을 향상시키기 위해.
• 의도를 유지하면서 자연스럽고 표현력 있는 에이전트 응답을 위해 비지도, 맥락 인식 역설적 표현 생성을 가능하게 하기 위해.

제안 방법

• 초기 역설적 표현 생성을 위해 비지도 방식으로 미세조정된 자동회귀 언어 모델(GPT-2)을 활용한다.
• 원본 에이전트 응답의 핵심 단어를 제어 신호로 삽입하여 의미적 내용을 유지하는 어휘 제어를 적용한다.
• 생성 과정에서 대화 맥락을 통합하여 맥락적 관련성과 일관성을 확보한다.
• 복합 자동 평가 지표를 활용한다: 의미 유사도는 BERTScore, 텍스트 함의는 맞춤 모델, 표현 다양성은 BLEU 기반 지표, 유창성은 맞춤 모델을 사용한다.
• 복합 지표를 보상 신호로 사용해 역설적 표현 품질을 최적화하기 위해 강화학습 정책을 훈련시킨다.
• 학습 중 샘플링 기반의 제어어 삽입을 통해 의미 유지와 함께 표현 다양성을 향상시킨다.

실험 결과

연구 질문

• RQ1 맥락과 어휘 제어만을 사용해도 고객 지원 채팅 응답에 대해 비지도 방식의 역설적 표현 생성을 효과적으로 적용할 수 있는가?
• RQ2 맥락과 제어어를 통합할 경우 생성된 역설적 표현의 유창성, 다양성, 의미 유사도에 어떤 영향을 미치는가?
• RQ3 의미 유사도, 텍스트 함의, 표현 다양성, 유창성을 조합한 복합 자동 평가 지표가 인간 평가의 효과적인 대체 수단이 될 수 있는가?
• RQ4 복합 지표를 보상 함수로 사용해 강화학습으로 미세조정하면 기존 비지도 방법보다 역설적 표현 품질이 크게 향상되는가?
• RQ5 제어어에 노이즈나 샘플링된 제어어를 포함할 경우 다양성과 관련성 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• RL 기반의 미세조정 방법이 복합 점수 0.753으로 가장 높은 전체 성능을 기록했으며, 두 번째로 좋은 방법('맥락만', M=0.744, p=9.3e-8)을 유의미하게 뛰어넘었다.
• '맥락만' 기반 베이스라인은 높은 표현 다양성을 기록했지만 의미 유사도와 텍스트 함의가 낮아, 다양성과 내용 충실도 사이의 트레이드오프를 보여주었다.
• '제어어만' 접근 방식은 높은 의미 유사도를 기록했지만 어휘 편향으로 인해 표현 다양성이 낮아, 균형 잡힌 제어의 필요성을 확인했다.
• 제어어에 무작위 노이즈를 추가하면 다양성은 향상되었지만 유창성과 관련성은 악화되어, 통제되지 않은 변형의 위험성을 입증했다.
• 학습 중 제어어를 샘플링함으로써 표현 다양성을 향상시키면서도 높은 의미 유사도와 유창성을 유지했으며, 노이즈 삽입보다 성능이 뛰어났다.
• 인간 평가 결과 자동 평가 지표 점수와 인간 애너테이션 간 강한 일치를 확인하여 복합 지표의 신뢰성을 검증했다.