[논문 리뷰] Towards Abstraction from Extraction: Multiple Timescale Gated Recurrent Unit for Summarization

Minsoo Kim, Dennis Singh Moirangthem외 1명|arXiv (Cornell University)|2016. 07. 04.

Topic Modeling참고 문헌 14인용 수 6

한 줄 요약

이 논문은 장기 과학적 텍스트의 시퀀스 간 개괄적 요약을 향상시키기 위해 시간적 계층을 도입한 새로운 RNN 아키텍처인 다중 시간스케일 게이트드 순환단위(MTGRU)를 제안한다. 서로 다른 시간스케일로 다양한 RNN 레이어를 조절함으로써 MTGRU는 구성적 이해 능력을 향상시키고 학습 시간을 단축시켜 기존 RNN보다 성능 향상을 이룬다. 이는 추출적 학습 데이터로부터의 추상화를 가능하게 한다.

ABSTRACT

In this work, we introduce temporal hierarchies to the sequence to sequence (seq2seq) model to tackle the problem of abstractive summarization of scientific articles. The proposed Multiple Timescale model of the Gated Recurrent Unit (MTGRU) is implemented in the encoder-decoder setting to better deal with the presence of multiple compositionalities in larger texts. The proposed model is compared to the conventional RNN encoder-decoder, and the results demonstrate that our model trains faster and shows significant performance gains. The results also show that the temporal hierarchies help improve the ability of seq2seq models to capture compositionalities better without the presence of highly complex architectural hierarchies.

연구 동기 및 목표

• 장기이고 복잡한 과학 논문에서 표준 RNN이 시퀀스 길이와 구성 복잡성으로 인해 어려움을 겪는 추상적 요약 문제를 해결하기 위해.
• 아키텍처 복잡성이나 메모리 사용량을 증가시키지 않고도 시퀀스 간 모델링이 가능한 다중 수준의 구성성(예: 문장 및 단락 수준의 구조)을 이해할 수 있도록 하는 것을 목적으로 한다.
• 추출적 문장 쌍(문단 및 핵심 문장)을 기반으로 학습하여 종단 간 추상적 요약을 가능하게 하며, 일반화 능력을 통해 추상적 출력을 생성한다.
• 기존 RNN 인코더-디코더보다 학습 시간을 단축시키면서도 성능을 유지하거나 향상시키기 위해.
• ArXiv에서 과학 논문 데이터셋을 새로 구축하여 단락 수준의 요약을 가능하게 하고, 다중 문장 입력에 대한 평가를 가능하게 한다.

제안 방법

• 뇌의 시간적 계층과 유사하게 깊이 있는 RNN의 서로 다른 레이어에 다른 시간스케일을 적용하는 다중 시간스케일 게이트드 순환단위(MTGRU)를 제안한다.
• MTGRU를 인코더-디코더 프레임워크에 통합하여 과학 텍스트의 장거리 의존성과 구성적 구조를 모델링한다.
• TF-IDF 점수를 사용하여 각 단락에서 핵심 문장을 추출하고, 입력 단락과 그 대표 문장 쌍을 학습 데이터로 구성한다.
• 입력 단락에 주어진 목표 요약의 가능도를 최대화하는 시퀀스 간 목표 함수를 사용해 모델을 종단 간으로 학습시킨다.
• 각 단락 요약을 연결하여 비전문가 수준의 기사 수준 요약을 만들며, 원본 기사 초록과 비교 평가한다.
• 다양한 시간스케일에서 인코더 출력의 관련 부분에 초점을 맞출 수 있도록 계층적 어텐션 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 다중 시간스케일 RNN 아키텍처가 아키텍처 복잡성 증가 없이 장문의 텍스트 요약에서 구성 계층을 개선할 수 있는가?
• RQ2 MTGRU를 통해 시간적 계층을 도입하면 표준 RNN보다 학습 속도가 빨라지고 성능이 향상되는가?
• RQ3 추출적 문장 쌍으로 학습된 모델이 다중 문장 단락의 추상적 요약을 일반화하여 생성할 수 있는가?
• RQ4 MTGRU 모델이 과학 논문에서 의미적 및 논의 수준의 구성성을 어느 정도 잘 포착하는가?
• RQ5 MTGRU 아키텍처는 다중 단락 과학 텍스트에 대한 완전히 추상적이고 종단 간 요약을 지원하도록 확장될 수 있는가?

주요 결과

• MTGRU 모델은 기존 RNN 인코더-디코더보다 훨씬 더 신속하게 학습되며, 학습 시간을 최대 한 에포크 단축시킨다.
• 모델은 요약 품질에서 뚜렷한 성능 향상을 보이며, 특히 다수의 문장에 걸친 핵심 내용을 포착하는 데 뛰어나다.
• 추출적 요약(핵심 문장)만으로 학습되었음에도 불구하고 모델은 추상적 요약을 생성하는 데 일반화 능력을 보이며, 입력에 존재하지 않는 단어 'explored'를 생성하는 등 추상적 출력을 낼 수 있다.
• MTGRU의 시간적 계층은 추가적인 아키텍처 부담 없이 문장 수준 및 단락 수준의 구성적 구조를 더 잘 포착할 수 있도록 한다.
• 모델은 강력한 일반화 능력을 보이며, 각 단락에서 다수의 핵심 포인트를 학습함으로써 단일 문장 추출을 넘어서는 추상화를 지원한다.
• 결과적으로 MTGRU는 더 추상적인 목표로 학습될 경우 향후 완전히 추상적이고 종단 간 요약 시스템의 기초가 될 수 있음을 시사한다.