[논문 리뷰] Leveraging User Engagement Signals For Entity Labeling in a Virtual Assistant

Deepak Muralidharan, Justine Kao외 9명|arXiv (Cornell University)|2019. 09. 18.

Topic Modeling참고 문헌 10인용 수 11

한 줄 요약

이 논문은 사용자 참여 신호—탭 타이밍, 청취 지속 시간, 콘텐츠 중단 등—를 활용하여 대화형 AI 시스템 훈련을 위한 세밀한 엔티티 레이블을 자동으로 생성하는 프레임워크를 제안한다. 인간 레이블링으로 제공된 굵은 레이블과 지식 기반 검증기, 다중 작업 학습 설정을 결합함으로써, 시퀀스 레이블링 작업에서 높은 정확도 향상을 이끌어내며, 종합적인 작업 오류율을 24.64% 감소시켰다. 이는 저자료 상황에서 추가로 인간 레이블링 데이터를 사용하는 것보다도 뛰어난 성능을 기록하였다.

ABSTRACT

Personal assistant AI systems such as Siri, Cortana, and Alexa have become widely used as a means to accomplish tasks through natural language commands. However, components in these systems generally rely on supervised machine learning algorithms that require large amounts of hand-annotated training data, which is expensive and time consuming to collect. The ability to incorporate unsupervised, weakly supervised, or distantly supervised data holds significant promise in overcoming this bottleneck. In this paper, we describe a framework that leverages user engagement signals (user behaviors that demonstrate a positive or negative response to content) to automatically create granular entity labels for training data augmentation. Strategies such as multi-task learning and validation using an external knowledge base are employed to incorporate the engagement annotated data and to boost the model's accuracy on a sequence labeling task. Our results show that learning from data automatically labeled by user engagement signals achieves significant accuracy gains in a production deep learning system, when measured on both the sequence labeling task as well as on user facing results produced by the system end-to-end. We believe this is the first use of user engagement signals to help generate training data for a sequence labeling task on a large scale, and can be applied in practical settings to speed up new feature deployment when little human annotated data is available.

연구 동기 및 목표

• 대화형 AI 시스템의 시퀀스 레이블링을 위한 세밀한 레이블링 훈련 데이터의 높은 비용과 부족함을 해결한다.
• 자연적으로 발생하는 사용자 행동을 약한 지도 신호로 활용하여 지도 학습의 한계를 극복한다.
• 비용이 많이 드는 인간 레이블링에 크게 의존하지 않고도 시퀀스 레이블링 및 종합적인 사용자 중심 작업에서의 모델 성능을 향상시킨다.
• 대규모 인간 레이블링 데이터셋에 대한 의존도를 줄여 가상 비서 시스템에서 새로운 기능과 도메인을 더 빠르게 구현할 수 있도록 한다.

제안 방법

• 사용자 의도와 만족도의 지표로 삼을 수 있는 사용자 참여 신호—콘텐츠 탭 타이밍, 장시간 청취, 콘텐츠 중단 등—를 수집한다.
• 이러한 신호를 이용해 개인정보 보호를 고려한 방식으로 사용자 요청을 세밀한 엔티티 유형(예: musicTitle, musicArtist)으로 자동으로 레이블링한다.
• 인간 레이블링 데이터와 참여 신호 기반 레이블링 데이터를 모두 활용하여 굵은 레이블링과 세밀한 레이블링을 동시에 최적화하는 다중 작업 학습 모델을 훈련한다.
• 지식 기반(KB) 검증기를 통합하여 의미적으로 일관된 엔티티 관계를 확인함으로써 최상위 예측 결과를 걸러내고 검증한다.
• 실제 사용자 상호작용에서 영향을 평가하기 위해 프로덕션 가상 비서 시스템에서 프레임워크를 종단 간(end-to-end)으로 적용한다.
• 경험적 히우리스틱을 사용해 정확한 의도 인식과 강하게 상관관계가 있는 신뢰할 수 있는 참여 신호를 식별한다.

실험 결과

연구 질문

• RQ1 사용자 참여 신호는 시퀀스 레이블링 작업에서 세밀한 엔티티 레이블 생성을 위한 효과적인 약한 지도 신호로 기능할 수 있는가?
• RQ2 인간 레이블링으로 제공된 굵은 레이블링 데이터와 참여 신호 기반 레이블링 데이터를 결합할 경우, 단순히 인간 레이블링 데이터만 사용하는 것과 비교해 모델 정확도가 얼마나 향상되는가?
• RQ3 지식 기반 검증기가 의미적으로 일관되지 않거나 잘못된 엔티티 레이블 조합을 걸러내어 모델 예측의 질을 얼마나 향상시키는가?
• RQ4 참여 신호 기반 레이블링 데이터의 사용이 종합적인 시스템 성능 향상과 사용자 중심 결과에 실제로 측정 가능한 영향을 미치는가?

주요 결과

• 5,000개의 인간 레이블링 예제에 참여 신호 기반 레이블링 데이터를 1배량 추가하면, 추가로 5,000개의 인간 레이블링 예제를 추가하는 것보다 더 높은 정확도 향상을 얻는다.
• 90,000개의 인간 레이블링 예제에 참여 신호 기반 레이블링 데이터를 1배량 추가하면, 추가로 30,000개의 인간 레이블링 예제를 추가하는 것보다 더 높은 정확도 향상을 기록한다.
• 지식 기반 검증기를 적용함으로써 두 개 이상의 관련 엔티티가 포함된 예제에서 FGEER(Fine-Grained Entity Error Rate)가 5.52%–6.87%에서 3.04%–3.38%로 감소하여 약 50%의 상대 오류율 감소를 이룬다.
• 향상된 모델은 기준 모델 대비 종단 간 작업 오류율을 24.64% 감소시켜 사용자 중심 결과 향상을 입증하였다.
• 모델은 'One by Metallica'와 같은 모호하거나 비정상적인 언어 패턴을 성공적으로 처리하여, 사용자 행동이 노래를 선호함을 시사할 경우 'One'을 musicTitle로 정확히 식별한다.
• 개인 사용자 의도가 다를 수 있음에도 불구하고, 모델은 인구 수준의 선호도를 학습하여 'One'이라는 노래를 메탈리카의 곡으로 우선시하는 경향을 보인다.