[논문 리뷰] Robust Dialogue Utterance Rewriting as Sequence Tagging

Jie Hao, Linfeng Song외 4명|arXiv (Cornell University)|2020. 12. 29.

Topic Modeling참고 문헌 25인용 수 5

한 줄 요약

이 논문은 문장 수준의 삭제와 문맥 스팬 삽입을 모델링함으로써 검색 공간을 줄이는 순서 태깅 접근법을 제안한다. REINFORCE를 사용하여 BLEU와 GPT-2 퍼플렉서티를 통한 어휘 유창성 신호를 주입함으로써, 모델은 상태최저 성능을 달성하며, 교차 도메인 평가에서 BLEU4는 14.6점 향상되고 정확매칭은 18.9% 향상되었으며, 생성 기반 모델보다 의미 내용을 더 잘 유지한다.

ABSTRACT

The task of dialogue rewriting aims to reconstruct the latest dialogue utterance by copying the missing content from the dialogue context. Until now, the existing models for this task suffer from the robustness issue, i.e., performances drop dramatically when testing on a different domain. We address this robustness issue by proposing a novel sequence-tagging-based model so that the search space is significantly reduced, yet the core of this task is still well covered. As a common issue of most tagging models for text generation, the model's outputs may lack fluency. To alleviate this issue, we inject the loss signal from BLEU or GPT-2 under a REINFORCE framework. Experiments show huge improvements of our model over the current state-of-the-art systems on domain transfer.

연구 동기 및 목표

• 기존 모델이 도메인 외 테스트 세트에서 성능이 급격히 떨어지는 문제를 해결하기 위해 대화 발화 재작성의 강건성 문제를 다루는 것.
• 문장 생성이 아닌 순서 태깅으로 설정함으로써 재작성 작업의 검색 공간을 줄이는 것.
• 출력에서 직접적인 단어 간 상호작용이 없는 태깅 기반 모델의 유창성 향상을 위해 외부 감독 신호를 도입하는 것.
• 다양한 도메인 간 일반화를 향상시키면서도 재작성 과정에서 의미 유지 능력을 유지하는 것.

제안 방법

• 각 입력 단어가 삭제 또는 유지 여부로 태깅되고, 문맥 스팬이 삽입 위치로 예측되는 다중 작업 순서 태깅 문제로 대화 발화 재작성 문제를 모델링한다.
• 삽입 위치에서 대화 문맥을 기반으로 스팬 경계를 예측함으로써 제약된 검색 공간을 정의한다.
• 문장 수준의 BLEU와 GPT-2 퍼플렉서티에서 유도된 보상 신호를 포함한 REINFORCE 기반 프레임워크를 사용하여 유창성 최적화를 수행한다.
• 사전 훈련된 GPT-2를 활용해 참조 없이도 유창성 신호를 제공함으로써 오픈 도메인 환경에서의 성능을 향상시킨다.
• 재작성 기반 유창성 보상으로서 BLEU와 GPT-2 퍼플렉서티를 함께 통합한 강화 학습 목표 함수를 사용한다.
• 삭제 및 삽입 결정을 동시에 예측할 수 있는 통합 태깅 헤드를 도입하여 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 문장 생성 접근 방식과 비교해 볼 때, 순서 태깅 형식이 도메인 외 테스트 세트에서 대화 발화 재작성 모델의 강건성 향상에 기여하는가?
• RQ2 출력에서 직접적인 단어 간 상호작용이 없는 순서 태깅 모델에서 어떻게 효과적으로 유창성을 향상시킬 수 있는가?
• RQ3 참조 요약이 필요 없이 GPT-2 퍼플렉서티를 보상 신호로 도입할 경우 생성 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 생성 기반 기준 모델보다 입력 발화에서 더 많은 의미적 내용을 유지하는가?
• RQ5 태깅 논리에 포함되지 않은 도전적인, 커버되지 않은 예시에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 RaST+RL-GPT2 모델은 교차 도메인 평가에서 이전 최고 성능 모델 대비 BLEU4에서 14.6점 향상되고 정확매칭은 18.9% 향상되었다.
• 인간 평가에서 모든 기준 모델을 압도적으로 앞서며, 이중 비교 평가에서 승리 사례 수가 가장 많았다.
• 의미 역할 레이블링(SRL) 분석 결과, 모델은 기준 모델보다 핵심 의미 의미를 더 잘 유지했으며, 도메인 내 및 도메인 외 설정 모두에서 가장 높은 F1 점수를 기록했다.
• 제약된 검색 공간 덕분에 사례 연구에서 단어 반복이나 부적절한 단어 삽입 등의 유창성 오류를 더 적게 생성했다.
• 커버되지 않은 예시에서 모델은 경쟁적인 BLEU4(56.4)와 상당히 높은 콘텐츠 복원도(R-L: 70.7)를 유지하여 더 높은 강건성을 보였다.
• 커버되지 않은 예시에서 정확매칭은 거의 0에 가까웠지만, 이는 태깅 기반 설계의 특성상 예상된 결과이며, 기준 모델과의 성능 격차는 미미했다.