[논문 리뷰] Dynamic Multi-Level Multi-Task Learning for Sentence Simplification

Han Guo, Ramakanth Pasunuru외 1명|arXiv (Cornell University)|2018. 06. 19.

Text Readability and Simplification참고 문헌 53인용 수 8

한 줄 요약

이 논문은 문장 간소화를 위한 동적 다중 수준 다중 작업 학습 프레임워크를 제안하며, 포인터-복사 순서-시퀀스 모델을 자연어 추론 및 어휘 재구성 생성과 함께 공동으로 훈련한다. 계층적 소프트 공유(더 높은 수준의 추론, 더 낮은 수준의 어휘 재구성)와 동적 작업 스케줄링을 위한 다중 손잡이 랜덤화 기반의 방법을 통해, SARI 및 FKGL 지표에서 최신 기술 수준의 성능을 달성하였으며, 강력한 기준 모델 대비 인간 평가에서 뚜렷한 향상이 있었다.

ABSTRACT

Sentence simplification aims to improve readability and understandability, based on several operations such as splitting, deletion, and paraphrasing. However, a valid simplified sentence should also be logically entailed by its input sentence. In this work, we first present a strong pointer-copy mechanism based sequence-to-sequence sentence simplification model, and then improve its entailment and paraphrasing capabilities via multi-task learning with related auxiliary tasks of entailment and paraphrase generation. Moreover, we propose a novel 'multi-level' layered soft sharing approach where each auxiliary task shares different (higher versus lower) level layers of the sentence simplification model, depending on the task's semantic versus lexico-syntactic nature. We also introduce a novel multi-armed bandit based training approach that dynamically learns how to effectively switch across tasks during multi-task learning. Experiments on multiple popular datasets demonstrate that our model outperforms competitive simplification systems in SARI and FKGL automatic metrics, and human evaluation. Further, we present several ablation analyses on alternative layer sharing methods, soft versus hard sharing, dynamic multi-armed bandit sampling approaches, and our model's learned entailment and paraphrasing skills.

연구 동기 및 목표

• 다중 작업 학습을 통해 논리적 함의 및 어휘 재구성 지식을 통합하여 문장 간소화 모델을 향상시키기.
• 기존 모델이 입력에 논리적으로 함의되지 않는 출력을 생성하거나 어휘 다양성이 부족한 문제를 해결하기.
• 작업 특화 지식(의미적 vs. 어휘 문법적)을 적절한 네트워크 계층과 일치시키는 다중 수준 소프트 공유 메커니즘 설계하기.
• 다중 손잡이 랜덤화를 통한 동적 훈련 스케줄링 개발으로, 모델 상태 및 성능 피드백에 따라 최적의 작업 전환 비율을 자동으로 학습하고 수동 하이퍼파라미터 조정을 피하기.

제안 방법

• 문장 간소화의 강력한 기준 모델로 포인터-복사 기반 기법을 사용하여 입력 단어 및 어구를 직접 복사할 수 있도록 한다.
• 자기 모델의 성능 향상을 위해 자연어 추론(함의) 및 어휘 재구성 생성이라는 두 가지 보조 작업을 도입한다.
• 다중 수준의 계층적 소프트 공유 전략을 적용: 간소화 및 함의 작업 간에는 고수준 계층을 공유(의미 수준), 간소화 및 어휘 재구성 작업 간에는 저수준 계층을 공유(어휘 문법 수준).
• 훈련 중 최적의 작업 전환 비율을 동적으로 학습하기 위해 다중 손잡이 랜덤화 제어기 사용.
• 훈련 시간에 따라 변화하는 교육적 유사 샘플링 전략을 사용해 종합적으로 모델을 훈련하며, 작업 선택 확률이 훈련 과정에 따라 진화한다.
• 자동 평가 지표(SARI, FKGL)와 인간 평가를 통해 Newsela, WikiSmall, WikiLarge 데이터셋에서 모델 평가.

실험 결과

연구 질문

• RQ1 보조 함의 및 어휘 재구성 생성 작업을 통한 다중 작업 학습이 문장 간소화 출력의 논리적 일관성과 어휘 다양성 향상에 기여하는가?
• RQ2 다른 작업 쌍이 서로 다른 네트워크 계층을 공유하는 다중 수준 소프트 공유 메커니즘이 균일하거나 하드 공유보다 성능 향상에 기여하는가?
• RQ3 다중 손잡이 랜덤화 기반의 동적 작업 스케줄링 접근 방식이 정적 또는 수동으로 조정된 혼합 비율보다 다중 작업 문장 간소화에서 우월한가?
• RQ4 성능 향상의 정도가 단순히 데이터 증강 때문인가, 아니면 보조 작업의 특정 기능 때문인가?
• RQ5 모델이 학습한 함의 및 어휘 재구성 능력은 독립형 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 다중 수준 다중 작업 학습 모델은 Newsela 데이터셋에서 SARI 점수 33.22를 기록하여 강력한 포인터-복사 기준 모델 및 경쟁 가능한 최신 기술 수준의 시스템을 압도적으로 뛰어넘었다.
• 기준 모델 대비 FKGL 점수를 0.55점 향상시켜 간소화된 출력의 가독성이 향상됨을 시사했다.
• 다양한 동적 다중 손잡이 랜덤화 제어기는 정적 혼합 비율 및 무작위 작업 선택 방식보다 통계적으로 유의미한 향상을 이뤘으며, SARI 및 FKGL에서 p < 0.01의 유의수준을 확보했다.
• 제거 실험 결과, 작업 특화 계층 정렬(의미 vs. 어휘 문법)을 고려한 소프트 공유가 하드 공유 또는 직관에 어긋나는 계층 공유보다 더 효과적임을 입증했다.
• 인간 평가 결과, 기준 모델 대비 더 단순하고 자연스럽고 논리적으로 함의된 출력을 생성함을 확인했으며, 더 높은 단순성 및 유창성 인식을 보였다.
• 모델의 성능 향상은 단순히 데이터 증강 때문이 아니며, 보조 작업 임베딩만 사용하는 모델는 다중 작업 프레임워크에 비해 성능이 열 劣하므로, 구조적 파rameter 공유를 통한 공동 학습의 가치가 확인되었다.