[논문 리뷰] Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations

Sam Coope, Tyler Farghly외 3명|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

Span-ConveRT는 ConveRT에서 사전 훈련된 대화 표현을 활용하여 소수의 예시에서 일관된 성능 향상을 이룬 경량의 턴 기반 스파ن 추출 모델을 제안한다. 이는 BERT 기반 스파인 추출기와 완전히 재학습한 모델을 모두 능가하며, 특히 자원이 적은 데이터에서 뛰어난 성능을 보이며, 실제 레스토랑 예약 대화에서 수집한 RESTAURANTS-8K 데이터셋을 벤치마킹용으로 도입한다.

ABSTRACT

We introduce Span-ConveRT, a light-weight model for dialog slot-filling which frames the task as a turn-based span extraction task. This formulation allows for a simple integration of conversational knowledge coded in large pretrained conversational models such as ConveRT (Henderson et al., 2019). We show that leveraging such knowledge in Span-ConveRT is especially useful for few-shot learning scenarios: we report consistent gains over 1) a span extractor that trains representations from scratch in the target domain, and 2) a BERT-based span extractor. In order to inspire more work on span extraction for the slot-filling task, we also release RESTAURANTS-8K, a new challenging data set of 8,198 utterances, compiled from actual conversations in the restaurant booking domain.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 자원이 적고 소수의 예시가 주어지는 슬롯 채우기 문제를 해결한다.
• 기타 대화 구성 요소에 종속되지 않은 융통성 있고 의도에 관계없는 스파인 추출 프레임워크를 개발한다.
• ConveRT와 같은 대규모 사전 훈련된 모델에서 유래한 대화 지식을 활용하여 소수의 예시에서의 성능을 향상시킨다.
• 실제 레스토랑 예약 대화에서 수집한 새로운 현실적인 벤치마크 데이터셋인 RESTAURANTS-8K를 도입한다.
• 초기 학습에서부터 훈련하는 대신 대화 표현을 전이함으로써 강건하고 자원 효율적인 슬롯 채우기를 가능하게 한다.

제안 방법

• 각 슬롯을 스파인 또는 존재하지 않음으로 예측하는 턴 기반 스파인 추출 작업으로 슬롯 채우기를 정의한다.
• Reddit 데이터에서 사전 훈련된 대규모 대화 모델인 ConveRT를 사용하여 맥락적 표현을 제공한다.
• 의도 검출에 의존하지 않고 턴 수준의 맥락을 모델링하기 위해 슬롯 요청 상태를 입력 특성으로 통합한다.
• End-to-end 스파인 예측을 위해 ConveRT 임베딩 위에 CNN-CRF 아키텍처를 적용한다.
• 최소한의 미세조정을 통해 ConveRT의 서브워드 표현을 타겟 도메인으로 전이한다.
• 모든 슬롯 값에 대해 문자 수준의 스파인 인덱싱을 사용하여 자연어 표현의 융통성 있고 정확한 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 ConveRT에서 사전 훈련된 대화 표현을 활용하면 소수의 예시에서 대화 슬롯 채우기의 스파인 추출 성능이 향상되는가?
• RQ2 소수의 데이터 환경에서 Span-ConveRT는 BERT 기반 스파인 추출기와 완전히 재학습한 모델보다 어떻게 비교되는가?
• RQ3 표준 언어 모델링 사전 훈련보다 대화 전용 사전 훈련 목표가 대화 작업에서 더 높은 성능을 내는가?
• RQ4 RESTAURANTS-8K 데이터셋은 실제 대화 환경에서의 스파인 추출 평가에 벤치마크로 효과적인가?
• RQ5 스파인 추출에서 가장 흔한 오류는 무엇이며, 저자원과 고자원 설정에서 모델 간에 어떻게 다를까?

주요 결과

• Span-ConveRT는 RESTAURANTS-8K 및 DSTC8 데이터셋에서 모두 소수의 예시 설정에서 BERT 기반 스파인 추출기보다 일관된 성능 향상을 보였다.
• RESTAURANTS-8K 데이터셋에서 Span-ConveRT는 100% 훈련 데이터로 F1 점수 0.95를 기록했으며, 데이터의 1/16에 해당하는 수준에서도 F1 = 0.86으로 강력한 성능을 유지하여 베이스라인을 능가했다.
• 단지 64개의 훈련 예시(전체 데이터의 0.75%)만으로도 Span-ConveRT는 F1 점수 0.86을 달성했으며, BERT 기반 모델과 완전히 재학습한 모델보다 뚜렷하게 뛰어난 성능을 보였다.
• 타겟 도메인에서 완전히 재학습한 모델은 저자원 환경에서 성능이 열악했으며, 데이터의 1/16에서 F1 점수가 0.58로 떨어져 사전 훈련의 필요성을 강조했다.
• ConveRT를 사용한 대화 전용 사전 훈련은 표준 BERT 사전 훈련조차도 전체 데이터로 미세조정한 경우보다 더 높은 성능을 내었으며, 이는 대화 작업에 대화 전용 사전 훈련이 더 잘 맞는다는 것을 시사한다.
• 오류 분석 결과, Span-ConveRT는 특히 저자원 설정에서 OOV(외부 어휘) 단어를 이름으로 잘못 분류하는 오류를 줄였으며, '이름' 슬롯에서 성능 향상을 뚜렷이 보였다.