[논문 리뷰] Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems

Hiroaki Sugiyama, Masahiro Mizukami외 5명|arXiv (Cornell University)|2021. 09. 11.

Speech and dialogue systems참고 문헌 10인용 수 10

한 줄 요약

이 논문은 대규모 트랜스포머 기반 일본어 채팅 대화 시스템을 제안하고 새로 제작한 일본어 데이터셋을 사용하여 피니튜닝 전략을 평가한다. 연구 결과, 훈련 데이터 구성—특히 성격 및 공감 중심 대화—가 사용자 인상에 크게 영향을 미치며, 모델 크기와 추가 정보는 데이터셋 유형에 따라 혼합된 영향을 미친다.

ABSTRACT

In recent years, several high-performance conversational systems have been proposed based on the Transformer encoder-decoder model. Although previous studies analyzed the effects of the model parameters and the decoding method on subjective dialogue evaluations with overall metrics, they did not analyze how the differences of fine-tuning datasets affect on user's detailed impression. In addition, the Transformer-based approach has only been verified for English, not for such languages with large inter-language distances as Japanese. In this study, we develop large-scale Transformer-based Japanese dialogue models and Japanese chit-chat datasets to examine the effectiveness of the Transformer-based approach for building chit-chat dialogue systems. We evaluated and analyzed the impressions of human dialogues in different fine-tuning datasets, model parameters, and the use of additional information.

연구 동기 및 목표

• 영어 SOTA 시스템과 비교할 수 있는 대규모 최신 트랜스포머 기반 일본어 대화 모델을 개발하는 것.
• 일본어용으로 적응된 PersonaChat과 EmpatheticDialogues를 포함한 일본어 채팅 대화를 위한 기준 데이터셋을 제작하고 공개하는 것.
• 피니튜닝 데이터셋 특성, 모델 크기, 추가 정보가 대화 품질에 대한 인간의 인식에 어떻게 영향을 미치는지 실증적으로 분석하는 것.
• 특히 저자원, 비영어 환경(예: 일본어)에서 훈련 데이터 구성이 주관적인 사용자 인상에 어떤 영향을 미치는지 조사하는 것.
• 다양한 차원에서 대화 품질 향상에 기여하는 다중 데이터셋 혼합 및 추가 정보(예: 프로필 문장)의 효과를 평가하는 것.

제안 방법

• 대규모 트위터 기반 대화 코퍼스를 기반으로 한 대규모 트랜스포머 인코더-디코더 모델(0.35B에서 1.6B 파라미터).
• 세 가지 별도의 일본어 채팅 대화 데이터셋(Fav: 좋아하는 것들, ED: 공감 중심 대화, PC: 성격 기반 대화)에서 모델를 피니튜닝.
• 자연스러움, 정서, 일관성, 주의력, 주제 관련성, 총합 인상 등 여러 차원에서 인간 평가를 실시.
• 추가 정보 없이 수행하는 평탄한 피니튜닝과 프로필 또는 상황적 맥락을 포함하는 태그 기반 피니튜닝을 비교하여 인식에 미치는 영향을 평가.
• 다양한 데이터 소스를 조합하는 전략(예: Mix50K, Mix150K)을 탐색하여 성능 향상 여부 평가.
• 자동 평가 지표로 퍼플렉서티를 사용하고, 인간 평가와의 일치도를 분석하여 자동 평가와 인간 평가 간의 일치 정도를 평가.

실험 결과

연구 질문

• RQ1 다양한 피니튜닝 데이터셋(예: 성격, 공감, 좋아하는 것들)이 일본어 채팅 대화 시스템에서 인간의 대화 품질 인식에 어떻게 영향을 미치는가?
• RQ2 추가 정보(예: 프로필 문장)의 포함이 주제 관련성이나 주의력과 같은 특정 대화 품질 요소를 얼마나 향상시키는가?
• RQ3 모델 크기를 늘리는 것이 항상 주관적인 대화 품질 향상으로 이어지는가, 아니면 훈련 데이터 분포에 따라 달라지는가?
• RQ4 여러 데이터셋을 혼합하면 단일 데이터셋 사용보다 성능 향상이 이루어지는가, 그리고 이는 데이터셋의 품질에 따라 어떻게 달라지는가?
• RQ5 퍼플렉서티와 같은 자동 평가 지표가 일본어 대화 시스템에서 인간 평가의 대화 품질에 얼마나 잘 일치하는가?

주요 결과

• Fav 데이터셋(좋아하는 것들 대화)은 전반적인 사용자 인상에서 ED와 PC를 뛰어넘어 모든 평가 차원에서 가장 높은 점수를 기록했다.
• ED 데이터셋은 자연스러움, 정서, 일관성 향상에 기여했지만, 반복적인 공감 반응과 주제 발전의 제한성으로 인해 주의력이 떨어졌다.
• PC 데이터셋은 특정 인상 카테고리에서의 향상이 없었으며, 성격 중심이라는 점에도 불구하고 사용자 인식에 미치는 영향이 제한적이었다.
• 추가 정보(태그 조건)를 추가하면 ED와 PC의 경우 일반적으로 평가 점수가 낮아졌는데, 이는 맥락에 과적합되거나 고정된 반응 패tern에 기인한 것으로 보인다.
• 모델 크기와 성능 간의 강한 정적 상관관계는 Fav와 Mix150K 데이터셋에서만 관찰되었으며, ED나 PC에서는 그러한 상관관계가 없었는데, 이는 데이터셋에 따라 모델 확장 효과가 달라짐을 시사한다.
• 데이터셋 혼합은 총 데이터 양이 증가할수록 성능 향상에 기여했으며, 특히 고품질과 저품질 데이터셋을 혼합할 경우 더욱 두드러졌다. 이는 데이터 양이 품질의 다양성에 의해 상쇄될 수 있음을 시사한다.