[논문 리뷰] Attributed Rhetorical Structure Grammar for Domain Text Summarization

Ruqian Lu, Shengluan Hou외 4명|arXiv (Cornell University)|2019. 09. 03.

Topic Modeling참고 문헌 51인용 수 8

한 줄 요약

이 논문은 도메인 지식, 비문학적 구조 이론(Rhetorical Structure Theory, RST), 그리고 속성 문법을 통합하여 지식 기반의 문법 기반 요약을 가능하게 하는 속성화된 비문학적 구조 문법(Attributed Rhetorical Structure Grammar, ARSG)을 제안한다. 도메인 관계를 비단말 기호로 모델링하고 비문학적 관계를 속성으로 삼음으로써, ARSG는 제한된 훈련 데이터에서 학습이 가능하며, 저자원 도메인에서도 효과적인 요약을 가능하게 하고, 최소한의 재학습으로 도메인 간 모델 이식을 가능하게 한다.

ABSTRACT

This paper presents a new approach of automatic text summarization which combines domain oriented text analysis (DoTA) and rhetorical structure theory (RST) in a grammar form: the attributed rhetorical structure grammar (ARSG), where the non-terminal symbols are domain keywords, called domain relations, while the rhetorical relations serve as attributes. We developed machine learning algorithms for learning such a grammar from a corpus of sample domain texts, as well as parsing algorithms for the learned grammar, together with adjustable text summarization algorithms for generating domain specific summaries. Our practical experiments have shown that with support of domain knowledge the drawback of missing very large training data set can be effectively compensated. We have also shown that the knowledge based approach may be made more powerful by introducing grammar parsing and RST as inference engine. For checking the feasibility of model transfer, we introduced a technique for mapping a grammar from one domain to others with acceptable cost. We have also made a comprehensive comparison of our approach with some others.

연구 동기 및 목표

• 특정 도메인 요약, 특히 전문 중국어 텍스트와 같은 저자원 도메인에서 레이블이 부여된 훈련 데이터가 부족한 문제를 해결한다.
• 순수하게 데이터 기반 접근 방식의 한계를 극복하기 위해 구조화된 도메인 지식과 논의 분석을 통합한다.
• 비문학적 구조 이론(Rhetorical Structure Theory, RST)을 기반으로 한 문법 기반 추론 엔진을 개발하여 어휘적 유사성 방법을 뛰어넘는 요약 품질을 향상시킨다.
• 새로운 도메인에 대해 다시 훈련하는 대신 문법을 매핑하는 방식으로 도메인 간 효율적인 모델 이식을 가능하게 한다.
• 일관성(RST)과 유사성(어휘 사슬)을 통합한 프레임워크를 통해 일관성과 조율성을 동시에 활용하는 확장 가능하고 조정 가능한 요약 시스템을 구축한다.

제안 방법

• 비단말 기호가 도메인 관계(예: '생산', '출력')를 나타내고, 비문학적 관계(예: '원인', '설명')가 이러한 관계의 속성으로 기능하는 속성화된 비문학적 구조 문법(ARSG)을 정의한다.
• 기계 학습을 통해 소규모 도메인 전용 훈련 텍스트에서 학습된 확률적 규칙을 활용한 하향식, 전행적 구문 분석 전략을 사용한다.
• 비문학적 관계를 기반으로 核(핵심) 및 보조적 논의 단위를 식별함으로써 요약을 안내하는 RST를 추론 엔진으로 통합한다.
• 기존의 어휘 사슬을 도메인 개념과 더 잘 맞추기 위해 '어휘 핵심'으로 변환한다.
• 도메인 특화된 개념을 정렬하고 구조 규칙을 유지하면서, 한 도메인(예: WET)의 문법을 다른 도메인(예: ID)으로 매핑하는 전이 기법을 구현한다.
• RST 기반의 구문 분석과 속성 기반 필터링을 통해 요약 길이와 집중도를 제어할 수 있는 조정 가능한 요약 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 도메인 지식과 RST를 통합한 문법 기반 접근 방식이 저자원 도메인에서 요약 성능을 향상시킬 수 있는가?
• RQ2 ARSG는 도메인 특화 요약에서 대규모 훈련 데이터 부족 문제를 얼마나 효과적으로 보완하는가?
• RQ3 완전한 재학습 없이 ARSG 모델을 한 도메인에서 다른 도메인으로 얼마나 효과적으로 이식할 수 있는가?
• RQ4 RST 기반 일관성 모델링과 어휘 핵심 기반 유사성 모델링을 통합하면 요약 품질이 어떻게 향상되는가?
• RQ5 제안된 모델 전이 기법은 새로운 적용 분야에서 도메인 특화 요약기 구축 비용을 줄일 수 있는가?

주요 결과

• ARSG 접근 방식은 제한된 훈련 데이터 조건에서도 높은 요약 정밀도(ROUGE-2)를 달성하며, cheng2016neural와 같은 추출 기반 기준선 및 그래프 기반 방법보다 뛰어난 성능을 보였다.
• 문법 매핑을 통한 모델 이식은 새로운 도메인 모델을 구축하는 데 드는 작업량을 약 1/5로 줄였으며, 이는 실험 8과 표 8에서 확인되었다.
• RST와 어휘 핵심의 조합은 상향식 일관성과 하향식 유사성을 통합함으로써 유창성과 정보량을 모두 향상시켰다.
• 도메인 간 이식 가능성은 매우 높게 입증되었다: WET(기상)에서 훈련된 문법은 ID(산업 개발) 도메인으로 효과적으로 적응되었으며, 만족스러운 성능을 보였다.
• DUC2002에서 ARSG 모델은 전통적인 그래프 기반 방법과 신경망 기반 기준선 모두보다 높은 ROUGE 점수를 기록했으며, 특히 훈련 데이터가 부족한 조건에서 두각을 나타냈다.
• 이 프레임워크는 조정 가능한 요약을 지원하여, RST 기반의 구문 분석과 속성 기반 필터링을 통해 요약 길이와 집중도를 제어할 수 있었다.