[논문 리뷰] Context-aware Natural Language Generation with Recurrent Neural Networks

Jian Tang, Y. F. Yang외 3명|arXiv (Cornell University)|2016. 11. 29.

Multimodal Machine Learning Applications참고 문헌 19인용 수 69

한 줄 요약

이 논문은 감성 및 제품 식별자와 같은 맥락 정보를 연속적인 의미 표현으로 인코딩하고 인간과 유사한 텍스트 시퀀스를 생성하는 맥락 인식 자연어 생성을 위한 두 가지 RNN 기반 모델, C2S와 gC2S를 제안한다. gC2S 모델은 게이팅 메커니즘을 사용하여 맥락에서 단어로의 직접적인 주의를 가능하게 하여, 인간 평가자에 의해 50% 이상가량 오분류되고, 최첨단 탐지 알고리즘에 의해 90% 이상 오분류되는 가짜 리뷰를 생성한다.

ABSTRACT

This paper studied generating natural languages at particular contexts or situations. We proposed two novel approaches which encode the contexts into a continuous semantic representation and then decode the semantic representation into text sequences with recurrent neural networks. During decoding, the context information are attended through a gating mechanism, addressing the problem of long-range dependency caused by lengthy sequences. We evaluate the effectiveness of the proposed approaches on user review data, in which rich contexts are available and two informative contexts, sentiments and products, are selected for evaluation. Experiments show that the fake reviews generated by our approaches are very natural. Results of fake review detection with human judges show that more than 50\% of the fake reviews are misclassified as the real reviews, and more than 90\% are misclassified by existing state-of-the-art fake review detection algorithm.

연구 동기 및 목표

• 감성 및 제품 식별자와 같은 맥락 정보를 통합하는 엔드 투 엔드, 데이터 기반의 자연어 생성 모델을 개발하는 것.
• RNN의 장거리 의존성에 대한 한계를 보완하기 위해 게이팅 메커니즘을 통해 맥락에서 단어로의 직접적인 주의를 가능하게 하는 것.
• 사람이 작성한 리뷰와 구분되지 않는 자연스럽고 다양한 맥락에 적절한 텍스트 시퀀스를 생성하는 것.
• 인간 평가 및 최첨단 가짜 리뷰 탐지 시스템을 활용하여 생성된 텍스트의 현실성 평가하기

제안 방법

• C2S 모델은 피드포워드 네트워크를 사용하여 감성 점수, 제품 ID 등 여러 종류의 맥락을 연속적인 의미 표현으로 인코딩한다.
• gC2S 모델은 C2S를 향상시키기 위해 게이팅 메커니즘을 도입하여 각 디코딩 단계에서 맥락 표현이 단어 생성에 직접적으로 영향을 미치도록 한다.
• 게이팅된 주의 메커니즘은 디코딩 중에 은닉 상태에 맥락 정보를 주입할지 여부와 주입 정도를 동적으로 제어한다.
• 모델들은 순차적 의존성을 모델링하고 텍스트 생성에서 장거리 맥락을 포착하기 위해 장기 기억 단기 기억(LSTM) 유닛을 사용한다.
• 에코더-디코더 프레임워크는 아마존과 트립어드바이저의 사용자 리뷰 데이터를 기반으로 엔드 투 엔드로 훈련되며, 맥락 특징을 입력으로, 텍스트 시퀀스를 출력으로 한다.
• 게이팅 메커니즘은 맥락에서 은닉 상태로의 스킵 커넥션을 가능하게 하여 정보 흐름을 향상시키고 장거리 시퀀스에서의 성능 저하를 줄인다.

실험 결과

연구 질문

• RQ1 맥락 인식 신경 텍스트 생성이 실제 인간이 작성한 리뷰와 구분되지 않는 리뷰를 생성할 수 있는가?
• RQ2 게이팅 메커니즘이 장거리 시퀀스에서 먼 단어들에 맥락 정보가 영향을 미치는 데 얼마나 효과적인가?
• RQ3 생성된 리뷰가 얼마나 정확하게 감성 극성과 제품 전용 정보를 반영하는가?
• RQ4 최첨단 가짜 리뷰 탐지 시스템이 제안된 모델이 생성한 리뷰를 얼마나 잘 탐지하는가?

주요 결과

• gC2S 모델이 생성한 가짜 리뷰 중 50퍼센트 이상이 인간 평가자에 의해 진짜 리뷰로 오분류되어, 생성된 텍스트의 높은 현실성을 시사한다.
• 최첨단 가짜 리뷰 탐지 알고리즘이 생성된 가짜 리뷰의 90퍼센트 이상을 오분류하여, 모델이 인간의 글쓰기 패턴을 얼마나 효과적으로 모방하는지 입증한다.
• 생성된 리뷰에 대한 감성 분류 결과, 세밀한 분류(F1 점수 0.529)와 이진 분류(F1 점수 0.982) 모두 실제 리뷰와 유사한 성능을 보여, 감성 표현의 정확성을 입증한다.
• qualitative 분석을 통해 생성된 리뷰 예시들은 문법적으로 올바르고 맥락에 부합하며, 올바른 감성과 제품 정보를 반영하고 있음을 확인했다.
• 게이팅 주의 메커니즘이 맥락 전파를 향상시켜, 특히 장거리 시퀀스에서 C2S 모델에 비해 gC2S 모델이 유의미하게 뛰어난 성능을 보였다.
• 모델은 책, 전자기기, 영화, 호텔 등 다양한 분야에서 다양하고 자연스러운 리뷰를 성공적으로 생성하였으며, 감성 수준에 관계없이 일관된 성능을 보였다.