[논문 리뷰] Investigating Linguistic Pattern Ordering in Hierarchical Natural Language Generation

Shang‐Yu Su, Yun-Nung Chen|arXiv (Cornell University)|2018. 09. 19.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 자연어 생성(NLG)을 위한 계층적 어휘 주의 메커니즘 디코더를 제안하며, 품사 태그(POS 태그)에 따라 언어 패턴 복구 순서를 정렬함으로써 시퀀스 생성 성능을 향상시킨다. 각각 특정 품사 집합을 담당하는 단계별 레이어로 단어 생성을 분리함으로써, 표준 seq2seq 모델 대비 뚜렷한 성능 향상을 이룬다. 작고 단순한 모델 구조임에도 불구하고, 교육 과정 학습(curriculum learning)을 통해 최대 102.07%의 BLEU 향상이 달성된다. 본 방법은 생성 순서가 성능에 상당한 영향을 미치며, 데이터셋에 특화된 언어적 구조에 따라 이 순서를 이끌어내야 한다는 점을 보여준다.

ABSTRACT

Natural language generation (NLG) is a critical component in spoken dialogue system, which can be divided into two phases: (1) sentence planning: deciding the overall sentence structure, (2) surface realization: determining specific word forms and flattening the sentence structure into a string. With the rise of deep learning, most modern NLG models are based on a sequence-to-sequence (seq2seq) model, which basically contains an encoder-decoder structure; these NLG models generate sentences from scratch by jointly optimizing sentence planning and surface realization. However, such simple encoder-decoder architecture usually fail to generate complex and long sentences, because the decoder has difficulty learning all grammar and diction knowledge well. This paper introduces an NLG model with a hierarchical attentional decoder, where the hierarchy focuses on leveraging linguistic knowledge in a specific order. The experiments show that the proposed method significantly outperforms the traditional seq2seq model with a smaller model size, and the design of the hierarchical attentional decoder can be applied to various NLG systems. Furthermore, different generation strategies based on linguistic patterns are investigated and analyzed in order to guide future NLG research work.

연구 동기 및 목표

• 복잡하고 장문의 문장을 생성하는 데 있어 표준 seq2seq 모델이 동시에 문법과 어휘를 학습하는 데 어려움을 겪는 한계를 해결하기 위해.
• 예를 들어 품사 태그 순서와 같은 언어 패턴 생성 순서가 계층적 디코딩 프레임워크 내에서 NLG 성능에 어떤 영향을 미치는지 조사하기 위해.
• 모델 크기를 늘리지 않으면서도 생성 품질을 향상시키는 일반화 가능한 계층적 디코더 아키텍처를 설계하기 위해.
• 하나의 데이터셋에 특화된 특성(예: 하위문장 길이 및 문법적 구조)을 바탕으로 효과적인 언어 패턴 순서 선택에 대한 경험적 지침을 제공하기 위해.

제안 방법

• 모델은 양방향 GRU 인코더를 사용하여 의미적 입력을 잠재 표현으로 인코딩하는 시퀀스-투-시퀀스 아키텍처를 사용한다.
• 계층적 디코더가 도입되며, 각 레이어는 특정 품사 태그 집합에서 단어를 생성하는 데 전담되어 있어 단계적이고 체계적인 생성이 가능하다.
• 각 디코더 레이어 내에서 어텐션 메커니즘이 적용되어 관련된 인코더 상태와 이전 디코더 출력에 주의를 기울이며, 정렬 및 맥락 인식 능력을 향상시킨다.
• 디코딩 계층은 품사 태그를 생성 단계 순서로 정렬함으로써 설계되며, 모델은 이 특정 순서에 따라 단어를 생성하도록 훈련된다.
• 교육 과정 학습은 더 단순하고 짧은 하위문장부터 먼저 훈련하여 점차 복잡도를 높임으로써 학습 안정성을 향상시킨다.
• 다양한 생성 계층을 통해 성능에 미치는 영향을 분석하기 위해 모델을 평가하며, 어텐션 및 반복 입력 메커니즘에 대한 분석도 수행한다.

실험 결과

연구 질문

• RQ1 예를 들어 품사 태그 순서와 같은 언어 패턴 생성 순서가 계층적 NLG 모델의 성능에 어떤 영향을 미치는가?
• RQ2 단계별 생성 기능을 갖춘 계층적 디코더가 복잡하고 장문의 문장을 생성하는 데 있어 표준 seq2seq 모델을 능가할 수 있는가?
• RQ3 교육 과정 학습이 계층적 NLG에서 학습 효율성과 생성 품질 향상에 어떤 역할을 하는가?
• RQ4 하나의 데이터셋에 특화된 특성—예를 들어 하위문장 길이 분포 및 문법적 구조—는 최적의 생성 순서에 어떤 영향을 미치는가?
• RQ5 계층적 디코더 아키텍처는 다양한 NLG 시스템에 일반화 가능한가, 아니면 선택된 언어 패턴 계층에 민감한가?

주요 결과

• 표준 seq2seq 디코더를 계층적 디코더로 대체함으로써 뚜렷한 성능 향상이 이루어지며, 평균적으로 49.25% BLEU, 30.03% ROUGE-1, 96.48% ROUGE-2, 25.99% ROUGE-L 향상이 이루어진다.
• 가장 성능이 뛰어난 계층에 교육 과정 학습을 적용하면 BLEU가 102.07% 향상되고, ROUGE-1은 48.26%, ROUGE-2는 144.8%, ROUGE-L은 39.18% 향상된다.
• 가장 성능이 열악한 계층—동사부터 생성하고, 그 다음 명사/고유명사/대명사, 그 다음 형용사/부사를 생성하는 방식—는 균형 잡히지 않은 작업 부담으로 실패한다. 이 경우 두 번째 레이어는 평균적으로 3.62단어의 기본 문장에 8개의 단어를 삽입해야 한다.
• 부사를 동사 이전에 삽입하는 것이 더 좋은 성능을 낸다. 왜냐하면 부사는 일반적으로 형용사를 수식하기 때문이며, 조기 동사 생성은 부사 삽입에 필요한 맥락을 제공하지 못하기 때문이다.
• 어텐션 메커니즘은 항상 성능 향상에 기여하지는 않으며, 계층적 구조 자체가 명시적인 위치 및 구조적 지침을 제공함으로써 암묵적 어텐션에 대한 의존도를 줄이기 때문이다.
• 최적의 생성 계층은 보편적이지 않으며, 하위문장 길이 분포 및 품사 태그의 문법적 역할과 같은 데이터셋 특성에 따라 달라진다.