[논문 리뷰] Sequence-to-Sequence Data Augmentation for Dialogue Language Understanding

Yutai Hou, Yijia Liu외 2명|arXiv (Cornell University)|2018. 07. 04.

Topic Modeling참고 문헌 43인용 수 117

한 줄 요약

논문은 한정된 학습 데이터에서 LU를 위한 작업 지향 대화에서 시퀀스투시퀀스(seq2seq) 기반 데이터 증강 프레임워크를 도입합니다. 의도 해제된 발화(delexicalised utterances)와 다양성 순위(diversity rank)를 사용하여 의미적으로 정렬된 다양한 변형을 생성하고, 제한된 학습 데이터에서 LU 성능을 향상시킵니다.

ABSTRACT

In this paper, we study the problem of data augmentation for language understanding in task-oriented dialogue system. In contrast to previous work which augments an utterance without considering its relation with other utterances, we propose a sequence-to-sequence generation based data augmentation framework that leverages one utterance's same semantic alternatives in the training data. A novel diversity rank is incorporated into the utterance representation to make the model produce diverse utterances and these diversely augmented utterances help to improve the language understanding module. Experimental results on the Airline Travel Information System dataset and a newly created semantic frame annotation on Stanford Multi-turn, Multidomain Dialogue Dataset show that our framework achieves significant improvements of 6.38 and 10.04 F-scores respectively when only a training set of hundreds utterances is represented. Case studies also confirm that our method generates diverse utterances.

연구 동기 및 목표

• 작업 지향 대화 시스템에서 한정된 LU 학습 데이터를 다루기 위한 데이터 증강의 동기 제시.
• 의미 프레임이 동일한 발화를 활용하는 전적으로 데이터 기반의 seq2seq 증강 프레임워크를 제안.
• 다양한 증강 발화를 촉진하고 학습 쌍을 선별하기 위한 다양성 순위 도입.
• ATIS 및 Stanford 다중 턴/다중 도메인 대화 데이터셋에서 소규모 학습 세트로 효과를 입증합니다.

제안 방법

• 슬롯 값을 의미 레이블로 대체하여 입력 발화 d를 생성하고, seq2seq 모델을 통해 어휘/구문 변형 d'를 생성합니다.
• 입력(d, k)을 결합한 다양성 순위 k로 조건화된 어텐션 기반 인코더-디코더를 사용하여 시퀀스투시퀀스 모델을 학습합니다(입력 피드백 포함).
• EditDistance와 길이 차이 페널티를 사용하여 발화 쌍 간 다양성 점수를 계산하고, 생성 및 선별을 안내하기 위한 순위를 할당합니다.
• 다양성 순위를 추가 토큰으로 도입하여 생성이 다양한 변형으로 향하도록 유도합니다.
• seq2seq 모델(D_seq2seq) 학습 시 더 다양한 후보의 절반만 남기도록 학습 쌍을 필터링하여 노이즈를 줄입니다.
• 표현 현실화는 비활성화된 슬롯을 실제 슬롯 값으로 맵핑하고, 맥락 인식 매핑을 사용하며, unk 토큰은 어텐션 점수로 대체합니다.

실험 결과

연구 질문

• RQ1 라벨이 제한된 상태에서 LU를 위해 의미적으로 동일하지만 다양하게 발화하는 방법은 무엇인가?
• RQ2 동일 의미 프레임 발화를 활용하는 데이터 기반 seq2seq 접근법이 LU의 슬롯 채움 성능을 향상시킬 수 있는가?
• RQ3 다양성의 명시적 모델링이 LU용 유용한 증강 데이터 생성에 어떤 역할을 하는가?
• RQ4 제안된 증강이 데이터가 부족한 상황과 서로 다른 도메인에서 어떻게 성능에 영향을 미치는가?

주요 결과

• 학습 데이터가 부족할 때 LU에서 상당한 이득: ATIS에서 129개의 발화로 6.38 F-점수 향상, 515개의 발화로 2.87 F-점수 향상(중간 비율).
• Stanford 대화 데이터에서 100개의 발화로 세 도메인에 걸쳐 평균 10.04의 향상; 500개의 발화에서는 0.47의 향상.
• 다양하고 구문적으로 다른 발화를 의미 프레임을 보존하며 생성하는 경향을 사례 연구에서 확인.
• ablation은 seq2seq 생성, 다양성 순위, 선별이 각각 성능에 기여함을 보였고, 어느 구성 요소를 제거해도 F-점수가 감소함.
• 덜 다양한 쌍을 선별하는 것이 노이즈를 피하는 데 중요하며, 생성 발화의 총 수를 줄이더라도 필요합니다.