[논문 리뷰] Teaching Models new APIs: Domain-Agnostic Simulators for Task Oriented Dialogue

Moya Chen, Paul Crook외 1명|arXiv (Cornell University)|2021. 10. 13.

Topic Modeling참고 문헌 48인용 수 4

한 줄 요약

이 논문은 도메인에 관계없이 사용 가능한 시뮬레이터를 제안하며, API의 실행 구현과 사용자 목표만을 사용하여 대화형 작업 데이터를 생성하는 데에 대규모 언어 모델을 활용한다. 자동으로 작업 성공 지표를 활용하여 자기 향상(self-improvement)을 위한 부트스트래핑과 능동 학습(active learning)을 통해, 제로샷(zero-shot) 설정에서 37%의 오차 감소를 달성하고, 인간의 참여나 도메인 특화 템플릿 없이도 10배 적은 데이터로 완전히 지도된 모델과 동등한 성능을 내며, 인간이 개입하지 않고도 성능 향상을 이룬다.

ABSTRACT

We demonstrate that large language models are able to simulate Task Oriented Dialogues in novel domains, provided only with an API implementation and a list of goals. We show these simulations can formulate online, automatic metrics that correlate well with human evaluations. Furthermore, by checking for whether the User's goals are met, we can use simulation to repeatedly generate training data and improve the quality of simulations themselves. With no human intervention or domain-specific training data, our simulations bootstrap end-to-end models which achieve a 37\% error reduction in previously unseen domains. By including as few as 32 domain-specific conversations, bootstrapped models can match the performance of a fully-supervised model with $10 imes$ more data. To our knowledge, this is the first time simulations have been shown to be effective at bootstrapping models without explicitly requiring any domain-specific training data, rule-engineering, or humans-in-the-loop.

연구 동기 및 목표

• 사람이 레이블링한 데이터나 규칙 기반 템플릿에 의존하지 않는 확장 가능한 도메인에 관계없는 시뮬레이션 프레임워크를 개발하는 것.
• 도메인 특화 지도 없이도 API 사양과 사용자 목표만을 사용하여 대화 에이전트의 엔드 투 엔드 학습을 가능하게 하는 것.
• 작업 성공을 신호로 삼아 자동으로 자기 지도적 부트스트래핑을 통해 제로샷 및 피셔샷(few-shot) 설정에서 모델의 일반화 능력과 강건성을 향상시키는 것.
• 대화 시스템 개발에서 인간의 참여 평가 및 수동 데이터 정제에 대한 의존도를 줄이는 것.

제안 방법

• 대규모 언어 모델을 사용자와 어시스턴트 시뮬레이터 모두로 활용하며, API 실행 구현과 사용자 목표에만 기반한다.
• 턴 기반 대화 루프를 사용: 사용자 발화 → 어시스턴트 API 호출 → API 응답 → 어시스턴트 응답, 정확한 API 호출이 이루어지면 종료된다.
• 작업 성공을 대화가 끝나기 전에 정확한 API 호출이 생성되었을 경우로 정의하여 자동이고 온라인 평가가 가능하도록 한다.
• 반복적 부트스트래핑을 적용: 성공한 합성 대화만을 사용하여 모델을 재학습함으로써 시간이 지남에 따라 성능을 향상시킨다.
• 능동 학습을 활용하여 가장 약한 모델 행동을 식별하고 우선순위를 정하며, 저성능 예제에 대한 인간의 레이블을 활용해 모델을 보완한다.
• 합성 대화를 생성하기 위해 급작스럽고 핵심 기반(핵심 기반) 디코딩 전략을 사용하며, 다양성과 환각 현상 사이의 상충 관계를 분석한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 API 실행 구현과 사용자 목표만을 사용하여 새로운 도메인에서 작업 중심 대화를 시뮬레이션할 수 있는가?
• RQ2 합성 대화에서의 작업 성공이 대화 품질에 대한 인간 평가의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ3 작업 성공을 신호로 삼아 자기 지도적 부트스트래핑을 통해 도메인 특화 학습 데이터 없이도 모델 성능을 향상시킬 수 있는가?
• RQ4 최소한의 인간 레이블 예제를 사용한 능동 학습이 완전히 지도된 모델과의 성능 격차를 어느 정도 메울 수 있는가?
• RQ5 생성 전략(예: 급작스럽기 vs. 핵심 기반 샘플링)이 합성 대화에서 언어적 다양성과 환각 현상에 어떤 영향을 미치는가?

주요 결과

• 제안된 시뮬레이터는 이전에 본 적 없는 도메인에서 제로샷 설정에서 37%의 오차 감소를 달성하여 강력한 일반화 능력을 입증한다.
• 단지 32개의 도메인 특화 예제만으로도 부트스트래핑된 모델이 10배 더 많은 데이터로 훈련된 완전히 지도된 모델의 성능을 따라잡는다.
• 작업 성공률은 인간 평가와 강하게 상관되며, 대화 품질에 대한 신뢰할 수 있는 자동 평가 지표로 기능한다.
• 능동 학습은 특히 저자료 환경에서 모델 성능을 크게 향상시키며, 가장 유의미한 실패 사례에 집중한다.
• 급작스럽기 디코딩은 언어적 다양성이 낮고, 작업 성공률이 거의 완벽해도 반복적인 슬롯 채우기 패턴을 유발한다.
• 핵심 기반 샘플링은 언어적 다양성을 향상시키지만 환각 현상을 증가시켜 다양성과 사실적 일관성 사이의 상충 관계를 보여준다.