[논문 리뷰] Handling Long-Tail Queries with Slice-Aware Conversational Systems

Cheng Wang, Sun Kim외 6명|arXiv (Cornell University)|2021. 04. 26.

Advanced Graph Neural Networks참고 문헌 26인용 수 5

한 줄 요약

이 논문은 사전에 학습된 스킬 라우팅 모델에 슬라이스 기반 학습(SBL)을 통합하여 저교통량, 고영향도(테일) 쿼리에서 성능을 햖थ하는 슬라이스 인식 대화형 AI 시스템을 제안한다. 의도별 레이블링 함수를 정의하고 슬라이스 인식 어텐션 메커니즘을 도입함으로써, 20개의 모니터링 테일 의도 중 14개에서 모델 정확도를 향상시키면서도 성능 저하를 최소화하였으며, 안정성과 커버리지 측면에서 전통적인 업샘플링 기법보다 뛰어난 성능을 보였다.

ABSTRACT

We have been witnessing the usefulness of conversational AI systems such as Siri and Alexa, directly impacting our daily lives. These systems normally rely on machine learning models evolving over time to provide quality user experience. However, the development and improvement of the models are challenging because they need to support both high (head) and low (tail) usage scenarios, requiring fine-grained modeling strategies for specific data subsets or slices. In this paper, we explore the recent concept of slice-based learning (SBL) (Chen et al., 2019) to improve our baseline conversational skill routing system on the tail yet critical query traffic. We first define a set of labeling functions to generate weak supervision data for the tail intents. We then extend the baseline model towards a slice-aware architecture, which monitors and improves the model performance on the selected tail intents. Applied to de-identified live traffic from a commercial conversational AI system, our experiments show that the slice-aware model is beneficial in improving model performance for the tail intents while maintaining the overall performance.

연구 동기 및 목표

• 상업적 대화형 AI 시스템에서 낮은 성능을 보이는 장시간 희귀이지만 핵심적인 사용자 쿼리 문제를 해결한다.
• 전체 시스템 성능 저하 없이 저교통량, 고영향도 의도에 대한 모델 일반화 및 신뢰성을 향상시킨다.
• 슬라이스 기반 학습(SBL)이 기존의 데이터 증강 기법(예: 업샘플링)보다 더 안정적이고 효과적인 개선을 제공할 수 있는지 평가한다.
• 의도 의미에 의해 정의된 특정 데이터 하위집단(슬라이스)에 대해 모니터링 및 향상이 가능한 확장 가능한 방법을 개발한다.

제안 방법

• 특정 테일 의도를 대상으로 모니터링 및 개선하기 위해 슬라이스 함수(레이블링 함수)를 정의한다.
• 쿼리 표현을 추출하기 위해 사전에 학습된 스킬 라우팅 모델($\mathbf{P}$)을 백본 모델로 사용한다.
• 다양한 의도 슬라이스의 기여도를 동적으로 가중하는 어텐션 메커니즘을 도입하여 $\mathbf{P}$를 슬라이스 인식 아키텍처로 확장한다.
• 테일 의도 슬라이스에 대한 온도 조절 확률 분포를 사용하여 두 가지 어텐션 가중치 함수를 구현함으로써 탐색과 활용의 균형을 이룬다.
• 레이블링 함수에서 유도된 약한 지도 학습을 통해 선택된 슬라이스에서의 타겟 최적화를 가능하게 하여 슬라이스 인식 모델($\mathbf{S}$)을 훈련시킨다.
• 실제로 탈식별된 사용자 쿼리 데이터를 사용하여 슬라이스 인식 모델($\mathbf{S}$)을 기준 모델($\mathbf{P}$) 및 업샘플링 기반 변형($\mathbf{P}_{up}$)과 비교한다.

실험 결과

연구 질문

• RQ1 슬라이스 기반 학습(SBL)은 상업적 대화형 AI 시스템에서 저교통량이지만 핵심적인 테일 의도에서 모델 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 슬라이스 인식 모델의 성능은 정확도 향상과 안정성 측면에서 표준 업샘플링 전략과 비교해 어떻게 다른가?
• RQ3 특정 의도 슬라이스를 향상시키는 동안 슬라이스 인식 아키텍처는 전체 시스템 성능를 얼마나 유지하는가?
• RQ4 슬라이스 인식 모델의 어텐션 메커니즘이 데이터 증강 기법과 비교해 다양한 테일 의도에 걸쳐 더 균형 잡히고 일관된 개선을 가능하게 하는가?

주요 결과

• 슬라이스 인식 모델($\mathbf{S}$)은 모니터링한 20개의 테일 의도 중 14개에서 성능 향상을 보였고, 업샘플링 기반 기준 모델($\mathbf{P}_{up}$)은 5개에 그쳤다.
• 슬라이스 인식 모델은 20개의 테일 의도 평균에서 뿐만 아니라 전체 성능 저하가 –0.21%에 그쳤고, 업샘플링 방법은 평균 –2.41%의 성능 저하를 보였다.
• 테스트 인스턴스 수가 1,000건 미만이었던 의도 ID 20의 경우, 업샘플링 방법은 심각한 성능 저하 –21.21%를 보였지만, 슬라이스 인식 모델은 안정적인 0.00% 차이를 유지했다.
• 슬라이스 인식 모델은 특히 자원이 부족한 의도에서 더 균일한 성능 향상을 보였으며, 다양한 테일 의도 카테고리에 걸쳐 일관된 개선을 보였다.
• 온도 조절 확률 분포를 활용한 어텐션 메커니즘이 과적합을 피하면서도 고교통량 슬라이스에 과도하게 집중하지 않고도 관련 슬라이스에 효과적이고 안정적으로 어우러지는 데 기여했다.
• 슬라이스 인식 접근법은 예상치 못한 성능 저하를 억제하여 실제 트래픽 환경에서 업샘플링 대비 더 높은 내구성을 보였다.