[논문 리뷰] Attention based Sentence Extraction from Scientific Articles using Pseudo-Labeled data

Parth Mehta, Gaurav Arora외 1명|arXiv (Cornell University)|2018. 02. 13.

Advanced Text Analysis Techniques참고 문헌 12인용 수 6

한 줄 요약

이 논문은 ACL 앤서로지에서 유래한 가짜 레이블 데이터를 사용하여 과학 논문의 추출적 요약을 위한 약한 지도 학습, 주의 기반 딥러닝 모델을 제안한다. 주제 모델 강화된 컨텍스트 임베딩을 가진 LSTM 인코더를 통해 문장 중요도와 신호어구 탐지 문제를 동시에 학습함으로써, 수동 레이블 없이도 문서의 구조를 유지하고 일관된 요약을 생성하면서도 최신 기준 ROUGE 점수를 달성한다. 이는 ROUGE-2, ROUGE-3, ROUGE-4에서 이전 방법들을 능가한다.

ABSTRACT

In this work, we present a weakly supervised sentence extraction technique for identifying important sentences in scientific papers that are worthy of inclusion in the abstract. We propose a new attention based deep learning architecture that jointly learns to identify important content, as well as the cue phrases that are indicative of summary worthy sentences. We propose a new context embedding technique for determining the focus of a given paper using topic models and use it jointly with an LSTM based sequence encoder to learn attention weights across the sentence words. We use a collection of articles publicly available through ACL anthology for our experiments. Our system achieves a performance that is better, in terms of several ROUGE metrics, as compared to several state of art extractive techniques. It also generates more coherent summaries and preserves the overall structure of the document.

연구 동기 및 목표

• 수동 레이블이 필요 없이 과학 논문 초록에 대한 약한 지도 학습 문장 추출 방법을 개발하기 위해.
• 요약에 적합한 문장을 식별하기 위해 정보성 콘텐츠 표현과 신호어구 탐지 문제를 동시에 학습하기 위해.
• ACL 앤서로지에서 공개된 가짜 레이블 데이터를 활용하여 과학 논문의 추출적 요약 성능을 향상시키기 위해.
• 생성된 요약에서 원본 문서의 구조적 일관성을 유지하기 위해.
• 맥락 인식 주의 메커니즘과 주제 모델링이 언어 자원 없이도 요약 품질 향상에 기여하는지 입증하기 위해.

제안 방법

• 양방향 LSTM 기반 문장 인코더가 단어 임베딩을 처리하여 고정 크기의 문장 표현을 생성한다.
• 잠재적 디리히레 분포(Latent Dirichlet Allocation, LDA) 모델이 문서 수준의 주제를 추출하여 논문의 총론적 주제를 반영하는 컨텍스트 임베딩을 형성한다.
• 주어진 문장 임베딩과 컨텍스트 임베딩을 융합하기 위해 주의 메커니즘이 사용되며, 이는 단어에 동적 가중치를 할당하여 콘텐츠와 신호어구를 모두 강조한다.
• 주의 출력과 컨텍스트 임베딩이 이진 분류기로 입력되어 문장이 요약에 적합한지 여부를 예측한다.
• 골드 표준 초록에서 유래한 가짜 레이블 데이터를 생성하여, 수동 레이블 없이도 약한 지도 학습이 가능하도록 한다.
• 모델는 ACL 코퍼스에서 미리 학습된 word2vec 모델의 정밀 조정된 단어 임베딩을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 주목적 기반 모델이 과학 논문의 문장 추출에서 정보성 콘텐츠와 신호어구 탐지 문제를 동시에 학습할 수 있는가?
• RQ2 주제 모델에서 유도된 컨텍스트 임베딩을 통합하면 추출적 요약 모델의 성능이 향상되는가?
• RQ3 골드 초록에서 유래한 가짜 레이블 데이터를 사용하는 약한 지도 학습 접근 방식이 기존의 추출적 방법보다 과학 텍스트에서 더 우수한 성능을 내는가?
• RQ4 생성된 요약에서 원본 문서의 구조적 일관성이 어느 정도 유지되는가?
• RQ5 ROUGE-2, ROUGE-3, ROUGE-4 점수는 과학 초록의 구조적 및 의미적 품질에 대한 인간 평가와 어느 정도 상관이 있는가?

주요 결과

• 제안된 모델은 ROUGE-2, ROUGE-3, ROUGE-4 지표에서 모든 베이스라인 및 최신 기준 방법을 능가하며, 다음으로 우수한 방법보다 ROUGE-2에서 3.9%의 절대적 향상을 달성한다.
• 모델은 ROUGE-2 점수 0.360을 기록하여 Submodular(0.360), ILP(0.350), Neural(0.344) 베이스라인을 모두 초월했으며, 유의미도 수준 α=0.05에서 통계적으로 유의미한 차이를 보였다.
• ROUGE-3 및 ROUGE-4 점수는 모두 베이스라인보다 유의미하게 높아, '이 논문에서 우리는 제안한다'와 같은 문장 수준의 구조적 및 어구적 신호를 잘 유지하고 있음을 시사한다.
• 모델은 '이 논문에서 우리는 제안한다' 또는 '결과는 다음과 같다'와 같은 신호어구를 효과적으로 식별하여 요약에 적합한 콘텐츠의 강력한 지표로 활용한다.
• 생성된 요약은 원본 문서의 논리적 흐름을 유지하고 있으며, 먼저 제안된 작업이 나온 후 실험적 세부사항과 시스템 비교 순서로 구성되어 있어 구조적 일관성이 뛰어나다.
• ROUGE-1 성능은 최고의 베이스라인(Submodular)과 유사하여 강력한 어휘 커버리지를 보였지만, 문장 수준 및 구조적 정보를 더 잘 포착하고 있음을 확인했다.