[논문 리뷰] Counterfactual Language Model Adaptation for Suggesting Phrases

Kenneth C. Arnold, Kai-Wei Chang외 1명|arXiv (Cornell University)|2017. 10. 04.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 실시간 인간 피드백 대신 오프라인 상호작용 데이터를 사용하여 글쓰는 이들이 더 수용 가능한 어휘 제안을 생성하도록 언어 모델을 훈련시키기 위한 반사적 학습 프레임워크를 제안한다. 인간 선호도를 타당성 함수로 모델링하고 반사적 추정을 통해 최적화함으로써, 단순한 분류형 언어 모델조차도 사용자가 실제로 수용하는 어휘 제안을 더 잘 생성함을 입증한다.

ABSTRACT

Mobile devices use language models to suggest words and phrases for use in text entry. Traditional language models are based on contextual word frequency in a static corpus of text. However, certain types of phrases, when offered to writers as suggestions, may be systematically chosen more often than their frequency would predict. In this paper, we propose the task of generating suggestions that writers accept, a related but distinct task to making accurate predictions. Although this task is fundamentally interactive, we propose a counterfactual setting that permits offline training and evaluation. We find that even a simple language model can capture text characteristics that improve acceptability.

연구 동기 및 목표

• 예측 언어 모델링과 글쓰는 이들이 실제로 수용하는 제안 어휘 사이의 격차를 해소하기 위해.
• 모든 모델 업데이트 시 실시간 인간 피드백이 필요하지 않은 방식으로 어휘 제안 시스템을 훈련하고 평가하는 방법을 개발하기 위해.
• 빈도 외에도 어휘 길이와 어조와 같은 스타일 및 표현 선택을 포함하여 어휘 선택에서 인간 선호도를 모델링하기 위해.
• 오프라인 반사적 추정이 언어 모델의 훈련을 더 수용 가능한 제안을 생성하도록 효과적으로 이끌 수 있음을 입증하기 위해.
• 레스토랑 리뷰 작업을 바탕으로 시뮬레이션된 글쓰는 이들과 실제 인간 글쓰는 이들을 대상으로 한 평가를 통해 접근법을 검증하기 위해.

제안 방법

• 기준 정책(기본 언어 모델)을 배포하여 리뷰 작성자가 작성하는 과정에서 기록된 상호작용 데이터를 수집한다.
• 관찰된 수용 행동을 바탕으로 인간 선호도를 표현하는 타당성 모델을 정의한다 — 예를 들어 더 긴 단어나 특정 품사 선호.
• 기준 정책의 기록된 데이터만을 사용하여 후보 모델의 기대 보상(수용률)을 반사적 추정을 통해 계산한다.
• 정규화를 위해 가중치 잘라내기(M)를 사용하는 볼록 최적화 문제를 설정하여 모델 파라미터를 조정하여 기대 보상을 최대화한다.
• 반사적 보상에서 유도된 데이터를 사용해 미세조정할 수 있는 분류형 언어 모델을 사용한다.
• 교차검증을 통해 보류된 데이터에서 성능을 평가하며, 최적화된 모델의 기대 보상과 기준 모델을 비교한다.

실험 결과

연구 질문

• RQ1 사용자 상호작용 기록만을 사용하여 언어 모델을 훈련시켜 더 수용 가능한 어휘 제안을 생성할 수 있는가?
• RQ2 어휘 제안 시스템 맥락에서 반사적 추정이 인간 평가의 신뢰할 수 있는 대체 수단이 될 수 있는가?
• RQ3 기록된 상호작용에서 유도된 인간 선호 신호를 사용해 미세조정한 단순한 분류형 언어 모델이 빈도 기반 기준 모델을 능가할 수 있는가?
• RQ4 어휘 길이 또는 품사와 같은 특정 선호 신호가 제안 어휘의 수용도에 어떤 영향을 미치는가?
• RQ5 반사적 학습에서 정규화가 과적합을 방지하면서 성능 향상을 유지하는 데 얼마나 효과적인가?

주요 결과

• 반사적 학습 접근법은 기대 보상을 높이는 모델 파라미터를 성공적으로 식별했으며, 정규화로 인해 기대 보상은 항상 실제 보상보다 낮게 추정되었다.
• 모든 M 값에 대해 기대 수용률과 실제 수용률 측면에서 최적화된 모델이 기준 언어 모델과 온도 조정 기준 모델을 모두 능가했다.
• 적합된 모델은 6자 이상의 단어와 대명사를 선호하고 문장 부호를 피하는 경향을 보였으며, 데이터에서 관찰된 인간 선호도와 일치함을 보였다.
• 반사적 추정치는 보류된 평가에서 실제 성능과 잘 상관관계를 보였으며, 이는 오프라인 모델 최적화에 대한 방법의 신뢰성을 검증한다.
• 시뮬레이션을 통해 진정한 인간 선호 모델이 알려져 있을 때에도 반사적 추정 프레임워크가 우수한 정책을 정확히 식별할 수 있음을 확인했다.
• 74명의 MTurk 작업자 대상 인간 평가에서 시스템은 일반적으로 긍정적인 평가를 받았으며, 사용자들은 제안이 아이디어를 떠올리고 표현을 향상시키는 데 도움이 되었다고 보고했다.