[논문 리뷰] Exploring Conversational Language Generation for Rich Content about Hotels

Marilyn Walker, Albry Smither외 3명|arXiv (Cornell University)|2018. 05. 01.

Topic Modeling참고 문헌 10인용 수 4

한 줄 요약

이 논문은 호텔 설명에서 흔히 찾을 수 있는 풍부한 구조적 내용을 바탕으로 자연스럽고 대화적인 언어를 생성하기 위한 프레임워크를 제안한다. 자가 대화, 의미 표현 기반 생성, 그리고 인크루트 기반 대화 데이터의 세 가지 유형의 대화 데이터를 수집하고 분석함으로써, 공식적인 서면 기술과 대화적 언어 사이의 핵심 스타일적 차이를 규명하여, 호텔 대화 시스템의 자연어 생성 및 검색 성능을 향상시킨다.

ABSTRACT

Dialogue systems for hotel and tourist information have typically simplified the richness of the domain, focusing system utterances on only a few selected attributes such as price, location and type of rooms. However, much more content is typically available for hotels, often as many as 50 distinct instantiated attributes for an individual entity. New methods are needed to use this content to generate natural dialogues for hotel information, and in general for any domain with such rich complex content. We describe three experiments aimed at collecting data that can inform an NLG for hotels dialogues, and show, not surprisingly, that the sentences in the original written hotel descriptions provided on webpages for each hotel are stylistically not a very good match for conversational interaction. We quantify the stylistic features that characterize the differences between the original textual data and the collected dialogic data. We plan to use these in stylistic models for generation, and for scoring retrieved utterances for use in hotel dialogues

연구 동기 및 목표

• 가격이나 위치와 같은 기본 속성 외에 rich한 호텔 콘텐츠를 다룰 수 있는 대화형 에이전트의 능력 격차를 해소하기 위해.
• 서면 호텔 기술서와 대화 시스템 내 자연스러운 대화 언어 사이의 스타일적 차이를 조사하기 위해.
• 복잡한 호텔 정보를 위한 자연어 생성 모델 설계에 기초가 되는 다양한 대화 데이터를 수집하고 분석하기 위해.
• 다중 턴 호텔 대화에서 적절한 발언을 선택하기 위한 스타일 기반 모델 및 점수 함수를 개발하기 위해.
• 훈련 및 평가를 위한 공개 가능한 코퍼스를 제공하기 위해.

제안 방법

• 자기 대화 생성, 의미 표현 기반 발언 생성, 그리고 인크루트 기반 다중 터닝 대화를 포함한 세 가지 데이터 수집 실험을 수행하였다.
• 언어 분석 도구(LIWC)를 사용하여 개인 대명사, 사회적 과정, 현재 집중도 등의 특징을 중심으로 데이터셋 간 스타일적 차이를 정량화하였다.
• 원본 InfoBox 기술서(ORIG)와 생성된 발언(PARA), 병합된 발언(PROP+ROOM), 대화형 발언(DIAL)을 비교하여 스타일적 이질성을 규명하였다.
• 대화 데이터에서 개인 대명사와 사회적 과정의 높은 사용 빈도 등 대화적 언어와 서면 기술서를 구분하는 핵심 스타일적 특징을 특정하였다.
• 식별된 언어적 특징을 기반으로 대화적 스타일 순위 매기기 모델을 훈련시켜 맥락에 적합한 발언을 검색하도록 제안하였다.
• 수집된 발언을 템플릿화하고, 대화 시스템 내 맥락 인식 기반 검색을 위해 색인화할 계획이다.

실험 결과

연구 질문

• RQ1 서면 호텔 기술서의 언어 스타일은 호텔 대화 내 자연스러운 대화 발언과 어떻게 다를까?
• RQ2 어느 데이터 수집 방법이 호텔 대화 시스템에 가장 자연스럽고 맥락에 적합한 발언을 생성하는가?
• RQ3 특정 스타일적 특징은 호텔 분야에서 대화적 언어와 공식적인 서면 기술서를 어떻게 구분하는가?
• RQ4 스타일적 특징을 활용해 맥락에 부합하는 고품질의 발언을 순위 매기거나 검색할 수 있는 모델을 훈련시킬 수 있는가?
• RQ5 풍부하고 구조화된 호텔 콘텐츠는 어떻게 유창하고 자연스럽고 맥락 민감도가 높은 대화 턴으로 효과적으로 변환될 수 있는가?

주요 결과

• 원본 서면 호텔 기술서(ORIG)는 대화 데이터(DIAL)에 비해 개인 대명사 사용 빈도(0.06)와 사회적 과정 빈도(4.81)가 현저히 낮다. DIAL는 각각 10.17과 14.66를 기록한다.
• DIAL 조건은 초점 현재(14.4)와 사회적 과정(14.66) 등 대화적 특징이 가장 높아 자연스러운 대화와의 정렬도가 높음을 시사한다.
• PARA 및 PROP+ROOM 조건은 중간 수준의 스타일적 프로파일을 보이며, ORIG보다는 개인 대명사 사용 빈도가 높지만 DIAL에 비해 낮아 대화 스타일에 부분적으로 부합함을 시사한다.
• 자기 대화 수집 방식은 가장 자연스럽게 들리는 발언을 생성했지만, 비용이 가장 높고 직접 재사용에 어려움이 있었다.
• 의미 표현에서의 생성은 고품질의 발언을 생성했지만 맥락 민감도가 떨어져 맥락 인식 기반 보완이 필요함을 시사한다.
• 수집된 데이터 코퍼스—다양한 스타일과 조건을 포함—는 nlds.soe.ucsc.edu/hotels에서 연구 및 모델 훈련을 위해 공개되어 있다.