[논문 리뷰] Controlling Style in Generated Dialogue

Eric M. Smith, Diana Gonzalez-Rico외 2명|arXiv (Cornell University)|2020. 09. 22.

Topic Modeling참고 문헌 29인용 수 34

한 줄 요약

이 논문은 세 가지 제어 가능한 생성 방법을 오픈 도메인 대화에 적용하여 약 217개의 대상 스타일에 걸쳐 스타일을 제어하고, retrieve-and-style-transfer, plug-and-play refinement, 그리고 상태-최신 대화 모델에서의 조건부 생성과 비교한다. 미세 조정된 조건부 생성은 목표 스타일 매칭에 가장 잘 작동하고 추론 속도도 더 빠르다.

ABSTRACT

Open-domain conversation models have become good at generating natural-sounding dialogue, using very large architectures with billions of trainable parameters. The vast training data required to train these architectures aggregates many different styles, tones, and qualities. Using that data to train a single model makes it difficult to use the model as a consistent conversational agent, e.g. with a stable set of persona traits and a typical style of expression. Several architectures affording control mechanisms over generation architectures have been proposed, each with different trade-offs. However, it remains unclear whether their use in dialogue is viable, and what the trade-offs look like with the most recent state-of-the-art conversational architectures. In this work, we adapt three previously proposed controllable generation architectures to open-domain dialogue generation, controlling the style of the generation to match one among about 200 possible styles. We compare their respective performance and tradeoffs, and show how they can be used to provide insights into existing conversational datasets, and generate a varied set of styled conversation replies.

연구 동기 및 목표

• 다양한 데이터로 학습된 오픈 도메인 대화 모델에서 안정적인 페르소나와 스타일의 필요성을 제시한다.
• 대화에 대한 세 가지 제어 가능한 생성 접근 방식 평가: retrieve-and-style-transfer, plug-and-play refinement, and conditioned generation.
• 스타일 제어 정확도, 학습/추론 비용, 그리고 다른 대화 지표에 미치는 영향 간의 트레이드오프 정량화.
• 스타일 조건화를 위한 도메인 내 데이터 라벨링의 실용적인 파이프라인을 시연하고 새로운 스타일 공간으로의 일반화를 검증한다.

제안 방법

• 대화에 대한 세 가지 제어 가능한 생성 아키텍처를 적용: retrieve-and-style-transfer (RnST), plug-and-play 언어 모델 (PPLM) 정제, 및 조건부 생성 (C).
• 이미지-채팅의 중간 크기 스타일 공간에서 스타일 제어 분류기와 생성기를 학습하고 평가한다.
• 추론 가능한 스타일 조건 생성을 가능하게 하기 위해 D+(추론되거나 제공된 스타일 라벨로 증강된 데이터)에서 생성 모델을 미세 조정한다.
• 자동 스타일 제어 정확도, 인간 평가, 및 대화 품질 지표 측면에서 성능을 비교한다.
• 각 접근 방식에 대한 학습/추론 비용 및 실용적 배치 고려 사항을 평가한다.

실험 결과

연구 질문

• RQ1 오픈 도메인 대화 모델이 큰 스타일 공간에서 지정된 대상 스타일로 안정적으로 생성할 수 있는가?
• RQ2 대화의 스타일 제어에서 retrieve-and-transfer, 반복적 정제, 그리고 조건부 생성 간의 트레이드오프는 무엇인가?
• RQ3 스타일 전이가 이미지 기반 스타일 라벨에서 순수 텍스트 대화로 일반화되는가?
• RQ4 스타일 조건화를 위한 효과적인 미 라벨 대화 데이터 라벨링을 가능하게 하는 실용적 파이프라인은 무엇인가?
• RQ5 스타일 제어 방법이 관련도와 유창성 등 핵심 대화 지표에 어떤 영향을 미치는가?

주요 결과

모델	BST	IC
RnST-IC+D	3.3%	15.8%
C100-IC+D	5.7%	16.7%

• 미세 조정된 조건부 생성 (C)은 목표 스타일 매칭에 가장 강력한 성능을 보여주고 다른 대화 지표도 대체 방법보다 잘 유지된다.
• RnST(검색된 맥락에서의 스타일 조건화 포함)는 순수 생성보다 스타일 제어가 약하고 스타일 정확도가 저하될 수 있다.
• PPLM 기반의 정제는 유연하고 세분화된 제어를 제공하지만 추론 시 계산 비용이 높고 여기에서 사용된 큰 217-스타일 공간에서는 이득이 제한적이다.
• 스타일 라벨링 데이터 세트에서 학습된 분류기를 사용하여 비라벨 데이터에 라벨을 부여하는 실용적 라벨링 접근법(D+)은 표준 대화 데이터 세트에서 효과적인 스타일-조건화 파인튜닝을 가능하게 한다.
• 최고 성능 모델(C100/C75)은 스타일 제어를 의미 있게 달성하고 스타일 정확도 향상과 합리적인 언어적 곤란도(interence)를 제공하며, 반복적 정제에 비해 추론이 효율적이다.
• 이 연구는 분류기가 학습될 수 있는 모든 스타일 공간에 스타일 조건화를 적용하는 일반화 가능한 파이프라인을 제공한다.