[논문 리뷰] Controlling Output Length in Neural Encoder-Decoders

Yuta Kikuchi, Graham Neubig외 3명|arXiv (Cornell University)|2016. 09. 30.

Topic Modeling참고 문헌 38인용 수 43

한 줄 요약

이 논문은 문장 요약을 위해 신경망 인코더-디코더 모델에서 출력 시퀀스 길이를 제어하기 위한 네 가지 방법—두 가지 디코딩 기반 및 두 가지 학습 기반 방법—을 제안한다. 학습 기반 방법($\mathit{LenEmb}$ 및 $\mathit{LenInit}$)은 ROUGE 점수를 떨어뜨리지 않은 채 원하는 목표 길이로 출력 길이를 효과적으로 제약하며, 더 긴 요약에서 디코딩 기반 접근보다 뛰어난 성능을 보이며 표준 벤치마크에서도 경쟁 가능한 성능을 유지한다.

ABSTRACT

Neural encoder-decoder models have shown great success in many sequence generation tasks. However, previous work has not investigated situations in which we would like to control the length of encoder-decoder outputs. This capability is crucial for applications such as text summarization, in which we have to generate concise summaries with a desired length. In this paper, we propose methods for controlling the output sequence length for neural encoder-decoder models: two decoding-based methods and two learning-based methods. Results show that our learning-based methods have the capability to control length without degrading summary quality in a summarization task.

연구 동기 및 목표

• 시퀀스 생성 작업에서 신경망 인코더-디코더 모델의 명시적 길이 제어 부족 문제를 해결하기 위해.
• 문서 요약 및 헤드라인 생성과 같은 응용 분야에서 중요한 바람직한 길이의 출력을 생성할 수 있도록 요약 시스템을 가능하게 하기 위해.
• 길이 제어가 요약 품질, 특히 ROUGE 점수 측면에서 떨어지지 않는지 평가하기 위해.
• 효과성과 내성 면에서 디코딩 기반 대비 학습 기반 접근 방식의 길이 제어 성능을 비교하기 위해.
• 표준 DUC2004 벤치마크에서 제어 가능한 출력 길이를 제공하면서도 경쟁 가능한 성능을 유지할 수 있음을 보여주기 위해.

제안 방법

• 두 가지 디코딩 기반 방법($\mathit{fixLen}$ 및 $\mathit{fixRng}$)은 후보 시퀀스의 길이를 목표 범위로 제약함으로써 추론 중 빔 서치를 수정한다.
• 두 가지 학습 기반 방법($\mathit{LenEmb}$ 및 $\mathit{LenInit}$)은 원하는 출력 길이를 나타내는 학습된 임베딩 또는 초기화 벡터에 따라 디코더를 조정하도록 모델 아키텍처를 수정한다.
• $\mathit{LenEmb}$는 각 디코딩 단계에서 디코더의 은닉 상태에 목표 길이의 학습된 임베딩을 삽입한다.
• $\mathit{LenInit}$는 원하는 길이를 인코딩한 학습된 벡터로 디코더의 은닉 상태를 초기화한다.
• 모든 모델는 교차 엔트로피 손실을 사용하는 표준 시퀀스 투 시퀀스 목표로 훈련되며, 학습 기반 모델는 출력 시퀀스와 그 길이를 동시에 예측하도록 공동 최적화된다.
• 길이 제어는 길이 제약 조건을 갖춘 빔 서치를 통해 평가되며, 성능은 ROUGE-1, ROUGE-2, ROUGE-L 지표로 측정된다.

실험 결과

연구 질문

• RQ1 신경망 인코더-디코더 모델가 특정 길이의 출력을 생성하도록 효과적으로 수정될 수 있는가?
• RQ2 길이 제어를 위한 학습 기반 방법이 디코딩 기반 대안 대비 길이 정확도와 요약 품질 측면에서 뛰어나게 성능을 내는가?
• RQ3 표준 요약 벤치마크인 DUC2004에서 길이 제어를 통합하면 성능이 떨어지는가?
• RQ4 제안된 방법들이 긴 요약(예: 50–75 바이트)과 짧은 요약을 제어하는 데 어떻게 비교되는가?
• RQ5 정밀한 길이 제어를 달성하면서도 높은 ROUGE 점수를 유지할 수 있는가?

주요 결과

• 학습 기반 방법인 $\mathit{LenEmb}$와 $\mathit{LenInit}$는 생성된 시퀀스의 히스토GRAM을 통해 원하는 목표 길이 근처에 출력 길이가 집중된 것으로 나타났다.
• $\mathit{LenEmb}$는 DUC2004 벤치마크에서 ROUGE-L 점수 23.88을 기록하여 표준 베이스라인($\mathit{fixLen}$)을 능가하고 최신 기술 수준의 모델과 동등한 성능을 보였다.
• $\mathit{LenInit}$는 ROUGE-L 점수 23.25를 기록하여 표준 모델 및 기존 방법과 유사한 성능을 유지하면서도 강력한 길이 제어 성능을 보였다.
• 긴 요약(예: 50–75 바이트)에 대해서는 학습 기반 방법이 디코딩 기반 방법보다 길이 정확도와 일관성 면에서 뚜렷이 뛰어났다.
• $\mathit{LenInit}$의 빔 서치 결과는 모든 상위 후보들이 원하는 길이(30 바이트)에 가까웠음을 보여주며 효과적인 길이 제어를 확인했다.
• 길이 제어의 추가 복잡성에도 불구하고 제안된 방법들은 경쟁 가능한 ROUGE 점수를 유지하여 요약 품질에 하락이 없음을 시사했다.