[논문 리뷰] Shaping the Narrative Arc: An Information-Theoretic Approach to Collaborative Dialogue

Kory W. Mathewson, Pablo Samuel Castro외 3명|arXiv (Cornell University)|2019. 01. 31.

Topic Modeling참고 문헌 51인용 수 14

한 줄 요약

이 논문은 우주 모델을 통해 정보 유출를 조절함으로써 공동 대화에서 서사 구도를 형성하는 정보 이론적 프레임워크를 제안한다. 이는 참여도와 예측 가능성 향상에 기여한다. 정보를 드러내고 숨기는 것을 균형 있게 조절함으로써 대화 품질을 향상시키며, 다음 대화 예측 정확도 향상과 사용자 연구에서 전문가의 선호도 향상을 통해 이를 입증한다.

ABSTRACT

We consider the problem of designing an artificial agent capable of interacting with humans in collaborative dialogue to produce creative, engaging narratives. In this task, the goal is to establish universe details, and to collaborate on an interesting story in that universe, through a series of natural dialogue exchanges. Our model can augment any probabilistic conversational agent by allowing it to reason about universe information established and what potential next utterances might reveal. Ideally, with each utterance, agents would reveal just enough information to add specificity and reduce ambiguity without limiting the conversation. We empirically show that our model allows control over the rate at which the agent reveals information and that doing so significantly improves accuracy in predicting the next line of dialogues from movies. We close with a case-study with four professional theatre performers, who preferred interactions with our model-augmented agent over an unaugmented agent.

연구 동기 및 목표

• 사람과의 공동 대화를 통해 매력적이고 창의적인 서사를 생성할 수 있는 인공 에이전트를 설계하는 것.
• 오픈 도메인 대화 시스템에서 서사 일관성과 흥미를 유지하는 데 도전하는 것.
• 서사 구도를 대화 내 정보 유출의 동적 변화로 공식화하는 것.
• 특정성과 모호성의 균형을 이루기 위해 정보 공개 속도를 제어할 수 있도록 하는 것.
• 실증적 평가와 전문가 사용자 연구를 통해 접근법을 검증하는 것.

제안 방법

• 대화 모델과 서사 세계에 대한 공유 지식를 추적하는 우주 모델을 결합한 방법.
• 우주 모델은 정보 내용에 따라 발언을 분류하여, 새로운 세부 정보를 추가하는 유형(정보 유출)과 모호성을 유지하는 유형(정보 은폐)을 구분한다.
• 서사 구도는 샤논 엔트로피와 볼네구트의 서사 형태를 영감으로 삼아 시간이 지남에 따라 변화하는 정보 유출의 확률 분포로 공식화된다.
• 정보 유출와 일관성의 균형을 고려한 점수 함수를 사용해 대화 후보를 샘플링하고 점수를 매긴다.
• 이 방법은 기반 대화 모델에 관계없이 적용 가능하므로 검색 기반 또는 생성 기반 모델과의 통합이 가능하다.
• 확률적 분류기를 사용해 장르, 주제, 이모티콘과 같은 변화하는 서사 요소를 추적함으로써 동적 서사 형성 기능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대화 중 정보 유출 속도를 제어함으로써 서사 참여도와 일관성을 향상시킬 수 있는가?
• RQ2 영화 스크립트에서 정보 유출를 조절하면 다음 대화 예측 정확도에 어떤 영향을 미치는가?
• RQ3 정보 이론을 통해 공식화된 서사 구도가 공동 대화의 품질을 향상시킬 수 있는가?
• RQ4 사용자 참여자가 서사 구도를 형성하는 에이전트와 기본 에이전트 중 어느 쪽을 더 선호하는가?
• RQ5 우주 모델이 대화 생성의 구체성과 일관성 향상에 얼마나 기여할 수 있는가?

주요 결과

• 정보 유출 속도를 제어함으로써 영화 스크립트 데이터셋에서 다음 대화 예측 정확도가 유의미하게 향상되었다.
• 4명의 전문 극단 연기자로 구성된 사용자 연구에서 서사 구도 보강된 에이전트가 생성한 대화가 기본 에이전트보다 강한 선호도를 보였다.
• 서사 구도 프레임워크는 특정성과 모호성의 균형을 성공적으로 유지하여 과도한 구체성과 지나친 모호함을 방지했다.
• 주제, 장르, 이모티콘 기반의 다양한 유형의 우주 모델에서 모두 효과적인 성능을 보였다.
• 다양한 대화 모델과의 호환성을 입증하여 일반화 가능성과 모oduularity를 입증했다.
• 실험 결과, 유출 정도 파라미터를 조정함으로써 서사 리듬과 참여도에 미세한 제어가 가능함을 확인했다.