[논문 리뷰] Extractive Summary as Discrete Latent Variables

Aran Komatsuzaki|arXiv (Cornell University)|2018. 11. 14.

Natural Language Processing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 텍스트 압축을 위해 추출적 요약을 이산 잠복 변수로 사용하는 것을 제안하며, tf-idf와 양방향 언어 모델(bi-LM) 손실 순위 매기기와 같은 단순한 방법이 최신 VQ-VAE를 능가함을 입증한다. 주요 발견은 언어가 강력한 자기 압축 코드로 작용하며, 정보량이 높은 소수의 토큰이 고도로 효과적인 계층적 생성을 가능하게 한다.

ABSTRACT

In this paper, we compare various methods to compress a text using a neural model. We find that extracting tokens as latent variables significantly outperforms the state-of-the-art discrete latent variable models such as VQ-VAE. Furthermore, we compare various extractive compression schemes. There are two best-performing methods that perform equally. One method is to simply choose the tokens with the highest tf-idf scores. Another is to train a bidirectional language model similar to ELMo and choose the tokens with the highest loss. If we consider any subsequence of a text to be a text in a broader sense, we conclude that language is a strong compression code of itself. Our finding justifies the high quality of generation achieved with hierarchical method, as their latent variables are nothing but natural language summary. We also conclude that there is a hierarchy in language such that an entire text can be predicted much more easily based on a sequence of a small number of keywords, which can be easily found by classical methods as tf-idf. We speculate that this extraction process may be useful for unsupervised hierarchical text generation.

연구 동기 및 목표

• 고품질의 잠복 변수를 생성하기 위해 추출적 압축을 탐색함으로써 비지도 시퀀스 생성을 향상시키는 것.
• 추출적 방법이 VQ-VAE와 같은 학습된 이산 잠복 변수 모델보다 텍스트 압축에서 뛰어난 성능을 낼 수 있는지 조사하는 것.
• 언어가 본질적으로 압축 코드로 작용하며, 소수의 핵심 토큰이 나머지 텍스트를 요약할 수 있다는 가설을 평가하는 것.
• 추출적 방법이 비지도 계층적 텍스트 생성의 기초로 활용될 잠재력을 탐색하는 것.
• tf-idf와 같은 단순한 고전적 방법이 복잡한 신경망 모델에 비해 정보량이 많은 요약 토큰을 식별하는 데서 동등하거나 슈퍼리어한 성능을 낼 수 있는지 확인하는 것.

제안 방법

• 입력 시퀀스에서 토큰의 부분집합을 선택하여 전체 텍스트를 나타내는 방식으로 추출적 요약을 이산 잠복 변수로 사용한다.
• 두 가지 추출 방법을 비교한다: 가장 높은 tf-idf 점수를 가진 토큰 선택과, 양방향 언어 모델에서의 개별 손실이 가장 높은 토큰 선택.
• 잠복 토큰에 조건부로 전체 시퀀스를 생성하는 계층적 생성 프레임워크를 활용한다.
• 주요 평가 지표로 조건부 퍼플렉서티(log-ppl)를 사용하여 압축 성능을 평가한다.
• bi-LM을 훈련하여 각 토큰의 손실을 계산하고, 이를 점수로 삼아 정보량이 높은 토큰을 순위 매기고 추출한다.
• 최신 모델들과의 공정한 비교를 위해 이전 연구들(e.g., Fan et al., 2018)과 동일한 평가 프rotocol를 적용한다.

실험 결과

연구 질문

• RQ1 추출적 요약 방법이 VQ-VAE와 같은 학습된 이산 잠복 변수 모델보다 텍스트 압축에서 뛰어난 성능을 낼 수 있는가?
• RQ2 tf-idf와 같은 단순한 고전적 방법과 복잡한 신경망 모델 간에 정보량이 많은 요약 토큰을 식별하는 데 있어 뚜렷한 성능 격차가 존재하는가?
• RQ3 언어가 얼마나 강력한 자기 압축 코드로 작용하는가? 즉, 소수의 关건 키워드가 나머지 텍스트를 예측할 수 있는가?
• RQ4 추출적 방법이 비지도 계층적 텍스트 생성을 위한 효과적이고 확장 가능한 잠복 변수로 기능할 수 있는가?
• RQ5 계층적 생성의 성능이 추출된 잠복 표현의 품질에 의존하는가? 만약 그렇다면, 다양한 추출 방법 간의 성능 비교는 어떻게 이루어지는가?

주요 결과

• tf-idf와 bi-LM 손실 기반 추출 방법이 각각 2.32와 2.36의 최저 테스트 로그퍼플렉서티를 기록하여 VQ-VAE(3.08)를 크게 앞서 갔다.
• bi-LM 방법은 로그퍼플렉서티 2.32를 기록했으며, 이는 무작위 선택(2.84)보다 0.52 낮아 정보량이 많은 토큰에 매우 민감함을 시사한다.
• tf-idf와 bi-LM의 성능은 거의 동일했으며, 이는 두 방법이 유사한 고정보량 토큰을 식별하고 있음을 의미한다.
• +tf-idf 및 +bi-LM 모델은 +VQ-VAE 및 +RL 베이스라인을 모두 능가했으며, 후자는 VQ-VAE와 동등하거나 그 이하의 성능을 보였다.
• 결과는 언어가 소수의 키워드가 나머지 텍스트를 포함하는 비율이 높은 정보량을 지닌 계층적 구조를 지니고 있음을 시사하며, 효과적인 압축을 가능하게 한다.
• 연구 결과는 언어가 강력한 압축 코드로 작용하며, 키워드의 시퀀스가 전체 텍스트를 높은 정확도로 예측할 수 있음을 뒷받침하며, 계층적 생성 모델의 성공을 정당화한다.