[논문 리뷰] A Hybrid Word-Character Model for Abstractive Summarization.

Chieh-Teng Chang, Chi-Chia Huang외 1명|arXiv (Cornell University)|2018. 02. 27.

Topic Modeling참고 문헌 28인용 수 8

한 줄 요약

이 논문은 중국어 개괄 요약에서 어휘 기반 및 문자 기반 표현을 통합하여 성능을 햖थ한 새로운 모델 HWC(Hybrid Word-Character)를 제안한다. 어휘로부터의 의미적 풍부성을 유지하면서 문자 기반으로 OOV 문제를 완화함으로써 HWC는 LCSTS 데이터셋에서 기존 방법보다 최소 8 ROUGE 포인트 이상 높은 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Abstractive summarization is the popular research topic nowadays. Due to the difference in language property, Chinese summarization also gains lots of attention. Most of studies use character-based representation instead of word-based to keep out the error introduced by word segmentation and OOV problem. However, we believe that word-based representation can capture the semantics of the articles more accurately. We proposed a hybrid word-character model preserves the advantage of both word-based and character-based representations. Our method also enables us to use larger word vocabulary size than anyone else. We call this new method HWC (Hybrid Word-Character). We conduct the experiments on LCSTS Chinese summarization dataset, and out-perform the current state-of-the-art by at least 8 ROUGE points.

연구 동기 및 목표

• 순수하게 문자 기반 모델이 중국어 개괄 요약에서 의미를 포착하는 데 한계가 있음을 해결한다.
• 어휘 수준 표현의 의미적 풍부성을 활용하면서도 어휘 분할 오류와 OOV 문제를 완화한다.
• 이전에 불가능했던 더 큰 어휘 어휘 크기를 종단 간 요약 모델에서 사용할 수 있도록 한다.
• 어휘나 형태가 복잡한 언어인 중국어와 같은 자원이 제한된 언어에서 어휘와 문자 특징을 결합함으로써 요약 성능을 향상시킨다.

제안 방법

• 개괄 요약을 위한 통합 인코더-디코더 프레임워크 내에서 어휘 수준 및 문자 수준 표현을 통합한다.
• 어휘 임베딩을 사용해 고수준의 의미적 의미를 포착하고, 문자 수준 인코더를 사용해 서브어휘 형태학을 모델링하며 OOV 단어를 처리한다.
• 어휘와 문자 표현을 연결하거나 어텐션 메커니즘을 통해 결합하여 맥락 표현을 풍부하게 한다.
• 어휘 수준 의미와 문자 수준 강건성을 동시에 최적화하는 학습 목표를 설계한다.
• 문자 수준의 지도를 활용해 데이터 희소성을 줄임으로써 이전에 불가능했던 어휘 어휘 크기를 확장한다.
• 포인터-생성자 또는 커버리지 메커니즘을 갖춘 시퀀스-투-시퀀스 모델에 하이브리드 표현을 적용하여 더 나은 요약 생성을 이룬다.

실험 결과

연구 질문

• RQ1 어휘 기반 및 문자 기반 표현을 결합하면 중국어 개괄 요약 성능을 향상시킬 수 있는가?
• RQ2 제안된 하이브리드 모델은 순수하게 문자 기반 모델 대비 어휘 분할 오류와 OOV 문제의 영향을 줄일 수 있는가?
• RQ3 성능 저하 없이 모델이 얼마나 큰 어휘 어휘 크기를 확장할 수 있는가?
• RQ4 표준 중국어 요약 벤치마크에서 HWC 모델은 최신 기술 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• HWC 모델은 LCSTS 벤치마크에서 최신 기술 수준의 성능을 달성하여, 이전 방법보다 최소 8 ROUGE 포인트 이상 높은 성능을 기록한다.
• 어휘 수준 의미와 문자 수준 강건성의 통합은 더 정확하고 유창한 요약 생성을 이끈다.
• 이전 접근 방식보다 더 큰 어휘 어휘 크기를 성공적으로 지원하여 의미 커버리지가 향상된다.
• 하이브리드 아키텍처는 중국어 텍스트에서 어휘 분할 오류와 OOV 단어의 부정적 영향을 줄인다.
• 다양한 ROUGE 지표에서 일관된 성능 향상이 나타나 요약 품질의 견고성을 입증한다.