[논문 리뷰] Asking the Right Question: Inferring Advice-Seeking Intentions from Personal Narratives

Liye Fu, Jonathan P. Chang외 1명|arXiv (Cornell University)|2019. 04. 02.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 개인적 내러티브에서 조언 구하기 의도를 추론하는 새로운 NLP 과제를 제안하며, 모델이 두 후보 질문 중에서 실제 의도한 질문을 선택하도록 하는 클로즈 테스트 형식으로 문제를 정의한다. 저자들은 의미적으로 타당한 질문 쌍을 포함한 20,000건 이상의 내러티브를 포함한 ASQ 데이터셋을 구축하여, 이 과제가 표면적 의미 이해를 넘어서 공통된 지각과 사회적 직관이 필요하다는 것을 입증하고, 내러티브에서 외부 의도를 이해하는 데의 진전을 평가하기 위한 기준을 설정한다.

ABSTRACT

People often share personal narratives in order to seek advice from others. To properly infer the narrator's intention, one needs to apply a certain degree of common sense and social intuition. To test the capabilities of NLP systems to recover such intuition, we introduce the new task of inferring what is the advice-seeking goal behind a personal narrative. We formulate this as a cloze test, where the goal is to identify which of two advice-seeking questions was removed from a given narrative. The main challenge in constructing this task is finding pairs of semantically plausible advice-seeking questions for given narratives. To address this challenge, we devise a method that exploits commonalities in experiences people share online to automatically extract pairs of questions that are appropriate candidates for the cloze task. This results in a dataset of over 20,000 personal narratives, each matched with a pair of related advice-seeking questions: one actually intended by the narrator, and the other one not. The dataset covers a very broad array of human experiences, from dating, to career options, to stolen iPads. We use human annotation to determine the degree to which the task relies on common sense and social intuition in addition to a semantic understanding of the narrative. By introducing several baselines for this new task we demonstrate its feasibility and identify avenues for better modeling the intention of the narrator.

연구 동기 및 목표

• 개인 내러티브를 통해 조언을 구하는 의도를 이해하는 데에 NLP 시스템의 능력이 부족한 점을 보완하기 위해.
• 내러티브에 대해 의미적으로 타당한 질문 쌍을 자동으로 생성하는 방법을 개발하기 위해.
• 20,000건 이상의 개인 내러티브와 짝지어진 조언 구하기 질문을 포함한 대규모이고 다양한 데이터셋을 구축하기 위해.
• 이 과제가 내러티브의 의미 이해를 넘어서 공통 지각과 사회적 직관에 크게 의존한다는 것을 입증하기 위해.
• 내러티브 의도 모델링의 주요 과제들과 향후 방향을 규명하고, 성능 기준 모델을 설정하기 위해.

제안 방법

• 개인 내러티브와 두 개의 조언 구하기 질문이 주어졌을 때, 작가가 실제로 의도한 질문을 선택하는 이진 선택 클로즈 테스트 형식으로 과제를 정의한다.
• 공개 포럼에서 온라인 개인 내러티브를 활용하여 암시적인 조언 구하기 의도를 지닌 내러티브를 추출한다.
• 내러티브 간의 공통된 경험 패턴을 활용하여 의미적으로 타당한 조언 구하기 질문 쌍을 자동으로 식별하는 방법론을 개발한다.
• 인간 경험의 공통성(예: 수면 부족, 경력 스트레스 등)을 활용하여 의도가 다를 수 있지만 의미적으로 타당한 질문 쌍을 생성한다.
• 인간의 평가를 통해 질문 쌍의 타당성을 검증하고, 과제가 공통 지각과 사회적 직관에 얼마나 의존하는지 평가한다.
• 수득한 ASQ 데이터셋을 기반으로 기준 모델을 훈련하고 평가하여 성능 기준을 설정한다.

실험 결과

연구 질문

• RQ1 개인 내러티브에서 조언 구하기 의도를 추론하는 데 있어 의미 이해를 넘어서 공통 지각과 사회적 직관이 얼마나 필요한가?
• RQ2 체계적인 방법론을 통해 주어진 내러티브에 대해 의미적으로 타당하고 상반된 조언 구하기 질문 쌍을 생성할 수 있는가?
• RQ3 기존의 NLP 모델들이 의미적으로 타당한 대안 질문과 실제 의도한 질문을 구별하는 데 얼마나 잘 성과를 내는가?
• RQ4 내러티브의 어떤 특징나 혹은 구조적 요소가 작가의 진짜 조언 구하기 의도를 가장 잘 예측하는가?
• RQ5 인간-컴퓨터 상호작용에서 개인 내러티브의 외부 의도를 더 잘 추론하기 위해 내러티브 이해 모델은 어떻게 향상시킬 수 있는가?

주요 결과

• ASQ 데이터셋은 20,000건 이상의 개인 내러티브를 포함하며, 각 내러티브는 의미적으로 타당한 질문 두 개(한 개는 의도된 것이고, 다른 하나는 그렇지 않은 것)와 짝지어져 있어 의도 추론 평가가 가능하다.
• 인간의 성능은 높은 편(92.4% 정확도)이지만, 여전히 사회적 직관과 공통 지각이 필요함을 보여주며, 과제가 명확하고 의미 있는 것으로 확인된다.
• 기준 모델(예: BERT 기반 분류기)은 중간 정도의 성능(약 70% 정확도)을 기록하여, 과제가 단순한 의미 이해를 넘어서 깊이 있는 추론이 필요함을 시사한다.
• 내용의 내부 사건을 이해하는 것과는 달리, 작가의 외부 의사소통 의도를 추론하는 데 필요한 사고가 필요하기 때문에, 이 과제는 표준적인 의미 이해 과제보다 훨씬 어렵다.
• 평가자들이 질문의 6%를 너무 일반적인 것으로 평가하여, 향후 작업에서 더 나은 질문 표현과 필터링 기법이 필요함을 시사한다.
• 내러티브 구조, 의사소통 행위, 감정 흐름을 통합하면 필수적인 내러티브 세부 정보와 부차적인 세부 정보를 구분하는 데 도움이 되어 모델 성능 향상이 가능할 것임을 시사한다.