[논문 리뷰] A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization

Xinyu Hua, Lu Wang|arXiv (Cornell University)|2017. 07. 21.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

이 논문은 신경망 추상적 요약에서 도메인 적응을 조사하며, 외부 도메인의 추출적 요약으로 사전 훈련하면 성능 햖도 향상되고 주요 내용 식별 능력이 전이됨을 보여준다. 내부 도메인 데이터가 부족한 경우, 내부 도메인 데이터와 외부 도마인 데이터를 조합하면 내부 도메인 데이터만으로 훈련하는 것보다 더 나은 요약을 얻을 수 있으며, 모델은 다양한 도메인 간에 내용 선택 능력을 학습하지만 도메인 특화된 글쓰기 스타일을 파악하기 위해선 내부 도메인 데이터가 필요하다.

ABSTRACT

We study the problem of domain adaptation for neural abstractive summarization. We make initial efforts in investigating what information can be transferred to a new domain. Experimental results on news stories and opinion articles indicate that neural summarization model benefits from pre-training based on extractive summaries. We also find that the combination of in-domain and out-of-domain setup yields better summaries when in-domain data is insufficient. Further analysis shows that, the model is capable to select salient content even trained on out-of-domain data, but requires in-domain data to capture the style for a target domain.

연구 동기 및 목표

• 외부 도메인 데이터가 저자원 타겟 도메인의 추상적 요약 성능을 향상시킬 수 있는지 조사하기.
• 내용 선택 또는 스타일 중 어떤 정보가 도메인 간에 전이 가능한지 규명하기.
• 도메인 적응을 위한 추출적 요약으로의 사전 훈련의 효과성 평가하기.
• 주의 메커니즘을 분석하여 주요 내용 식별의 전이 가능성 이해하기.

제안 방법

• 100만 개의 뉴스 기사-요약 쌍(뉴욕타임스)을 사용해 포인터-게이터 주의 메커니즘을 갖춘 순서-순서 모델을 사전 훈련한다.
• 사전 훈련된 모델을 내부 도메인의 의견 기사 데이터로 추상적 요약을 위해 미세 조정한다.
• 뉴스(소스 도메인)와 의견(타겟 도메인) 데이터로 별도의 모델을 훈련하여 성능 및 주의 패턴을 비교한다.
• 요약 품질 평가에 ROUGE 및 BLEU 점수를 사용한다.
• 요약 생성 중 가장 주목받는 입력 단어를 특정하기 위해 주의 가중치를 분석한다.
• 명시적 실체 유형, 품사 태그, 주관성으로 주목된 단어를 분류하여 내용 선택의 전이 가능성 평가하기.

실험 결과

연구 질문

• RQ1 외부 도메인의 추출적 요약으로 사전 훈련하면 새로운 도메인에서 추상적 요약 성능이 향상되는가?
• RQ2 요약에서 내용 선택 또는 언어적 스타일 중 어떤 요소가 도메인 간에 전이 가능한가?
• RQ3 내부 도메인 데이터가 제한된 상황에서 내부 도메인 및 외부 도메인 데이터를 조합하면 성능에 어떤 영향을 미치는가?
• RQ4 외부 도메인 데이터로 훈련된 모델이 타겟 도메인의 주요 내용을 여전히 식별할 수 있는가?
• RQ5 내부 도메인 데이터는 도메인 특화된 글쓰기 스타일을 포착하는 데 어떤 역할을 하는가?

주요 결과

• 추출적 요약으로 사전 훈련하면 뉴스 및 의견 기사 요약 모두에서 ROUGE 및 BLEU 점수가 유의미하게 향상된다.
• 뉴스(외부 도메인) 데이터로 훈련된 모델는 여전히 의견(타겟 도메인) 기사에서 요약에 적합한 내용을 주목함으로써 내용 선택 능력의 전이가 가능함을 시사한다.
• 내부 도메인 데이터가 제한된 경우, 내부 도메인 및 외부 도메인 데이터를 조합한 훈련이 내부 도메인 데이터만으로 훈련한 경우보다 더 높은 ROUGE 점수를 기록한다.
• 외부 도메인 데이터로만 훈련된 모델는 인간 편집자처럼 요약에서 새로운 어휘를 자주 사용하지 못하며, 입력에 존재하지 않는 신조어를 생성하지 못한다.
• 주의 분석 결과, 혼합 도메인 모델은 명시적 실체와 명사를 더 많이 주목하고, 동사와 주관적 어휘를 덜 주목함으로써 타겟 도메인 특성과 더 잘 부합한다.
• 내부 도메인 훈련은 도메인 특화된 글쓰기 스타일을 포착하는 데 필수적이며, 이는 외부 도메인 데이터로만 훈련된 모델이 입력에 존재하지 않는 새로운 단어를 생성하지 못한다는 점에서 뚜렷하다.