[논문 리뷰] Conditional Text Generation for Harmonious Human-Machine Interaction

Bin Guo, Hao Wang외 5명|arXiv (Cornell University)|2019. 09. 08.

Topic Modeling참고 문헌 175인용 수 6

한 줄 요약

이 논문은 인간-기계 상호작용을 원활하게 하기 위한 조건부 텍스트 생성(CTG)에 대한 종합적인 서베이를 제시한다. 주요 기술, 학습 프레임워크, 그리고 개인화, 정서적 요소, 지식 강화 텍스트 생성과 같은 새로운 추세를 다룬다. 장문의 텍스트 생성, 다중모달 통합, 종신 학습을 핵심 과제로 규명하고, 크로스 어텐션과 복사 메커니즘을 통해 커뮤니티 기반 지식을 융합하는 모델을 제안하여 맥락적 적합성과 동적 지식 적응을 향상시킨다.

ABSTRACT

In recent years, with the development of deep learning, text generation technology has undergone great changes and provided many kinds of services for human beings, such as restaurant reservation and daily communication. The automatically generated text is becoming more and more fluent so researchers begin to consider more anthropomorphic text generation technology, that is the conditional text generation, including emotional text generation, personalized text generation, and so on. Conditional Text Generation (CTG) has thus become a research hotspot. As a promising research field, we find that many efforts have been paid to exploring it. Therefore, we aim to give a comprehensive review of the new research trends of CTG. We first summary several key techniques and illustrate the technical evolution route in the field of neural text generation, based on the concept model of CTG. We further make an investigation of existing CTG fields and propose several general learning models for CTG. Finally, we discuss the open issues and promising research directions of CTG.

연구 동기 및 목표

• 조화로운 인간-기계 상호작용을 위한 조건부 텍스트 생성(CTG) 분야의 최근 발전을 체계적으로 검토하기 위해.
• 특히 맥락, 정서, 지식, 개인화를 통한 조건부 성능을 중심으로 신경 텍스트 생성의 핵심 기술적 추세와 발전 경로를 규명하기 위해.
• 장문의 텍스트 생성, 동적 지식 통합, 평가 지표 부족과 같은 CTG 분야의 열린 과제를 다루기 위해.
• 크로스 어텐션과 복사 메커니즘을 통해 실시간 커뮤니티 기반 지식을 텍스트 생성에 통합하는 일반화 가능한 학습 프레임워크를 제안하기 위해.
• 더 적응형이고 맥락 인식 능력을 갖춘 시스템을 위해 종신 학습과 다중모달 데이터 융합과 같은 미래 연구 방향을 탐색하기 위해.

제안 방법

• 외부 정보인 맥락, 주제, 정서, 지식 등을 활용하여 조건부 생성을 체계화하는 CTG의 개념적 모델을 제안한다.
• 입력 텍스트와 선택된 커뮤니티 기반 지식을 별도로 인코딩하는 듀얼 인코딩 메커니즘을 도입하고, 크로스 어텐션을 통해 표현을 융합하여 맥락 기반의 풍부한 표현을 생성한다.
• 디코딩 상태에 따라 어휘에서 생성할지 또는 입력 소스에서 복사할지를 선택하는 동적 생성-복사 메커니즘을 갖춘 디코더를 활용한다.
• 의미적 일관성과 사실 일관성을 향상시키기 위해 어텐션 메커니즘과 시퀀스-투-시퀀스 모델링을 활용한다.
• 다양한 입력 유형에 대한 조건부 제어를 가능하게 하기 위해 트랜스포머 기반 아키텍처를 조건부 제어에 적합하도록 변형한다.
• 사용자 상호작용를 통해 지식 기반을 업데이트할 수 있는 종신 학습 프레임워크를 제안하여 지속적인 새로운 정보 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조건부 텍스트 생성은 조건 정보의 유형에 따라 어떻게 시스템적으로 분류되고 체계화될 수 있는가?
• RQ2 효율적인 조건부 제어를 가능하게 하는 신경 텍스트 생성의 핵심 기술 구성 요소와 아키텍처의 진화 경로는 무엇인가?
• RQ3 실시간, 비정형적이고 노이즈가 많은 커뮤니티 기반 데이터는 어떻게 효과적으로 추출하고 텍스트 생성에 융합할 수 있는가?
• RQ4 장문의 일관성 있는 텍스트 생성에서 주요 과제는 무엇이며, 장기적 의존성을 효과적으로 모델링하는 방법은 무엇인가?
• RQ5 외부 소스에서 지속적으로 지식을 업데이트함으로써 재학습 없이도 종신 학습을 달성할 수 있는 텍스트 생성 모델는 어떻게 설계할 수 있는가?

주요 결과

• 딥 러닝의 발전을 통해 조건부 텍스트 생성은 주목할 만큼 발전했으며, 어텐션 메커니즘, 트랜스포머, 강화 학습 기반 기술들이 더 일관되고 정서적으로 표현력 있는, 맥락에 부합하는 출력을 가능하게 했다.
• 기존 모델들은 장기적 의존성을 모델링하기 어려움으로 인해 장문의 텍스트 생성에서 어려움을 겪고 있어, 향상된 시퀀스 모델링 기법이 필요하다는 점을 시사한다.
• 크로스 어텐션과 복사 메커니즘을 통한 실시간 커뮤니티 기반 지식 융합은 더 정확하고 동적 지식 통합을 가능하게 하여 사실 일관성과 맥락 적합성을 향상시킨다.
• 종신 학습은 아직 개발이 부족한 분야이지만, 사용자 상호작용를 통해 지식 기반을 업데이트할 수 있는 초기 모델들은 실생활 응용에서 지속적 적응을 가능하게 하는 데 잠재력을 보이고 있다.
• 현재 CTG의 평가 지표는 여전히 부적절하여 성능 정량화와 모델 비교에 큰 장벽을 만들고 있다.
• 사전 구축된 지식 그래프를 활용한 지식 강화 텍스트 생성은 정적 지식과 영역 특이성으로 인해 제한을 받고 있어, 실시간으로 동적으로 지식를 확보할 수 있는 방법이 필요하다.