[논문 리뷰] Data Augmentation with Paraphrase Generation and Entity Extraction for Multimodal Dialogue System

Eda Okur, Saurav Sahay외 1명|arXiv (Cornell University)|2022. 05. 09.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 어린이가 수학을 배우는 데 목적이 있는 다중모odal 대화 시스템에서 의도 인식 성능을 향상시키기 위해 모델 인 더 루프(paraphrase generation)와 도메인 특화 엔티티 추출을 활용한 데이터 증강 프레임워크를 제안한다. 모델 인 더 루프 기반의 어휘 재구성과 다중 작업 Transformer 모델, 그리고 ConceptNet 기반의 자동 엔티티 주석 처리를 결합함으로써, 소규모이고 작업에 특화된 데이터셋에서 의도 F1 스코어를 90.6%에서 99.4%로 향상시켰다.

ABSTRACT

Contextually aware intelligent agents are often required to understand the users and their surroundings in real-time. Our goal is to build Artificial Intelligence (AI) systems that can assist children in their learning process. Within such complex frameworks, Spoken Dialogue Systems (SDS) are crucial building blocks to handle efficient task-oriented communication with children in game-based learning settings. We are working towards a multimodal dialogue system for younger kids learning basic math concepts. Our focus is on improving the Natural Language Understanding (NLU) module of the task-oriented SDS pipeline with limited datasets. This work explores the potential benefits of data augmentation with paraphrase generation for the NLU models trained on small task-specific datasets. We also investigate the effects of extracting entities for conceivably further data expansion. We have shown that paraphrasing with model-in-the-loop (MITL) strategies using small seed data is a promising approach yielding improved performance results for the Intent Recognition task.

연구 동기 및 목표

• 어린이 중심의 작업 지향 대화 시스템을 위한 강력한 자연어 이해(NLU) 모듈을 훈련시키는 데 있어 라벨이 부족한 데이터 문제를 해결한다.
• 유아 학습자를 대상으로 하는 교육적 응용 분야에서 흔히 나타나는 저자원 환경에서의 의도 인식 성능을 향상시킨다.
• 특정 도메인 환경에서의 엔티티 추출 및 확장이 NLU 성능에 미치는 영향을 탐구한다.
• ConceptNet과 같은 지식 그래프를 활용해 수동 라벨링에 의존도를 줄이기 위해 확장 가능하고 저비용의 엔티티 주석 처리 방법을 개발한다.
• 어휘 재구성과 엔티티 인식 기반의 데이터 증강 간의 상호보완적 작용이 모델의 일반화 능력과 내성 강도를 향상시키는지 조사한다.

제안 방법

• 원본 훈련 문장의 다양한 의미적으로 타당한 어휘 재구성 문장을 생성하기 위해 미세조정된 언어 모델을 활용한 모델 인 더 루프(MITL) 기반 어휘 재구성 생성을 수행한다.
• 의도 분류와 엔티티 인식을 동시에 수행하기 위해 다중 작업 기반의 Transformer 아키텍처(DIET + ConveRT)를 사용한다.
• 단어 유사도 점수 기반으로 임계값(0.7) 이상을 초과하는 유사어를 추출하여 ConceptNet을 활용해 자동으로 엔티티 주석을 부여한다.
• spaCy의 POS 태깅 결과를 기반으로 도메인 특화 엔티티(예: 수학 용어, 게임 맥락 내 물체 등)에 대해 ConceptNet에서 유도한 동의어 사전을 활용해 자동 주석 처리를 수행한다.
• 어휘 재구성된 문장과 엔티티가 풍부한 샘플을 원본 소규모 데이터셋에 통합하여 데이터 증강을 수행한다.
• 10겹 교차검증을 3회 반복하여 성능을 평가하며, 의도 및 엔티티 인식에 대한 F1 스코어를 측정한다.

실험 결과

연구 질문

• RQ1 모델 인 더 루프(MITL) 기반 어휘 재구성 생성은 어린이 중심의 대화 시스템을 위한 소규모이고 작업에 특화된 데이터셋에서 의도 인식 F1 스코어를 유의미하게 향상시킬 수 있는가?
• RQ2 spaCy의 기본 NER나 수동 주석 처리와 비교할 때, ConceptNet 기반 자동 주석 처리 엔티티 추출은 얼마나 높은 수준의 엔티티 인식 성능 향상을 이끌어내는가?
• RQ3 데이터 증강과 함께 도메인 특화 엔티티가 포함될 경우, 전체 의도 분류 성능에 어떤 영향을 미치는가?
• RQ4 어휘 재구성과 엔티티 확장의 조합이 저자원 환경에서 더 강력하고 일반화 능력이 뛰어난 NLU 모델을 만드는 데 기여하는가?
• RQ5 교육용 대화 시스템에서 수동 주석 처리와 자동 주석 처리 간의 F1 스코어와 주석 처리 비용 간의 상호 교환 관계는 어떠한가?

주요 결과

• 모델 인 더 루프(MITL) 기반 어휘 재구성 생성은 기준 모델에서 의도 인식 F1 스코어를 90.6%에서 95.6%로 향상시켰다.
• MITL 기반 데이터 증강을 다중 작업 아키텍처와 통합함으로써 의도 F1 스코어는 99.4%까지 상승했다.
• 수동 주석 처리를 통해 엔티티 인식 F1 스코어는 spaCy NER의 72.8%에서 97.1%로 상승했다.
• 자동 주석 처리된 엔티티는 92.6%의 F1 스코어를 기록하여 성능과 주석 처리 비용 간의 균형 잡힌 성능을 입증했다.
• 의도 및 엔티티 동시 인식 모델은 엔티티 정보를 통합함에 따라 의도 인식 F1 스코어에 약간의 감소를 보였지만, 엔티티 풍부화로 인한 전체 성능 향상은 뚜렷했다.
• 어휘 재구성과 자동 주석 처리된 엔티티의 조합은 특히 저자원 환경에서 NLU의 내성 강도를 크게 향상시켰다.