[논문 리뷰] A Cross-Domain Transferable Neural Coherence Model

Peng Xu, Hamidreza Saghir외 5명|arXiv (Cornell University)|2019. 05. 28.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 전체 문장 조합이 아닌 인접한 문장 쌍에 집중함으로써 효과적인 음성 샘플링과 강력한 다중 도메인 일반화를 가능하게 하는 국소적 판별형 신경 일관성 모델을 제안한다. 비록 판별형 모델이지만, 생성 전훈을 통합함으로써 도메인 내(월스트리트저널) 및 개방형(위키백과) 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

Coherence is an important aspect of text quality and is crucial for ensuring its readability. One important limitation of existing coherence models is that training on one domain does not easily generalize to unseen categories of text. Previous work advocates for generative models for cross-domain generalization, because for discriminative models, the space of incoherent sentence orderings to discriminate against during training is prohibitively large. In this work, we propose a local discriminative neural model with a much smaller negative sampling space that can efficiently learn against incorrect orderings. The proposed coherence model is simple in structure, yet it significantly outperforms previous state-of-art methods on a standard benchmark dataset on the Wall Street Journal corpus, as well as in multiple new challenging settings of transfer to unseen categories of discourse on Wikipedia articles.

연구 동기 및 목표

• 특정 도메인에 과적합되는 경향이 있는 판별형 일관성 모델의 열악한 다중 도메인 일반화 문제를 해결하기 위해, 부족한 음성 샘플링으로 인한 문제를 해결한다.
• 오직 생성 모델만이 도메인 간 잘 일반화된다는 가정을 도전하기 위해, 판별 모델이 유사한 강건성을 달성할 수 있음을 보여준다.
• 전체 순열에서 국소적 문장 쌍으로 음성 샘플링 공간을 축소함으로써 판별 학습의 효율성과 커버리지 향상을 도모한다.
• 엔티티 및 어휘 전이와 같은 국소적 일관성 신호가 전반적 일관성의 핵심 요소를 포괄함을 입증한다.
• 위키백과의 '재작성' 플래그를 텍스트 품질의 대체 지표로 사용하여 모델 예측과 인간 평가 간의 일치를 검증한다.

제안 방법

• 모델은 이웃한 문장 쌍을 표현하기 위해 양방향 트랜스포머 인코더를 사용하여 전체 문장 조합 수준의 모델링이 아닌 국소적 일관성에 집중한다.
• 긍정 쌍은 동일한 문서의 연속된 문장 쌍이며, 음성 쌍은 동일한 문서의 다른 문장으로 두 번째 문장을 교체하여 형성하는 대조 학습 목표를 적용한다.
• 다양한 길이의 문서 간 균일한 학습을 확보하기 위해, 각 문서가 동일한 수의 스텝 동안 학습되도록 문장 쌍을 재샘플링한다.
• 대규모 코퍼스에서 마스크된 언어 모델링 목표를 사용해 사전 전훈함으로써, 다양한 도메인 간 일반화 능력을 향상시킨다.
• 최종 분류기 헤드는 대조 손실을 사용하여 일관성 있는 문장 쌍과 일관성이 없는 문장 쌍을 구분하기 위해 다운스트림 일관성 작업에서 미세조정된다.
• 제거 분석은 단순 연결보다 양방향 인코딩과 전체 특징 표현의 중요성을 확인한다.

실험 결과

연구 질문

• RQ1 생성 전훈에 의존하지 않고도 판별형 일관성 모델이 강력한 다중 도메인 일반화를 달성할 수 있는가?
• RQ2 전체 문장 조합이 아닌 국소적 문장 쌍을 모델링할 경우, 음성 샘플링 공간은 줄어들지만 전반적 일관성 모델링 능력은 유지되는가?
• RQ3 생성 전훈이 판별형 국소 일관성 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 위키백과의 '재작성' 플래그를 통해 인간 평가의 텍스트 품질과 모델의 일관성 점수 간 상관관계는 얼마나 높은가?
• RQ5 일정 임계값을 초과하면 음성 샘플링 커버리지에 감소 효과가 나타나는가? 현재 샘플링 수준은 효과적인 학습에 충분한가?

주요 결과

• 제안된 국소 판별 모델은 CelestialBody 데이터셋에서 81.31%의 정확도와 Wiki-WSJ에서 82.23%의 정확도를 기록하여 이전 최신 기술을 크게 능가한다.
• 월스트리트저널 벤치마크에서 이전 최신 기술을 능가하며 도메인 내 성능이 뛰어나다는 것을 입증한다.
• 모델은 강력한 다중 도메인 일반화 성능을 보이며, 예측되지 않은 카테고리의 위키백과 기사, 특히 도메인 다양성이 높은 기사에서도 잘 작동한다.
• 제거 분석 결과, 양방향 인코딩 또는 전체 특징 표현을 제거할 경우 성능 저하가 발생함으로써 이러한 구성 요소의 중요성을 확인한다.
• 모델의 일관성 점수는 일반 길이(2,000~6,000자)의 기사에서 위키백과의 '재작성' 플래그와 통계적으로 유의미한 상관관계를 보였다(p = 0.008), 특히 표시된 기사의 일관성 점수는 유의미하게 낮았다(0.56 vs. 0.79).
• 더 긴 기사(8,000~14,000자)의 경우 일관성 격차는 더 작아졌고(p = 0.250, 통계적으로 유의미하지 않음), 이는 장문의 텍스트에서 부분적인 일관성 손실 또는 문체적 요소가 지배적일 수 있음을 시사한다.