[논문 리뷰] Learning to Explain: Answering Why-Questions via Rephrasing

Allen Nie, Erin Bennett외 1명|arXiv (Cornell University)|2019. 06. 04.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 텍스트 내 '왜' 문장을 분석한 의존 구문 분석을 통해 자동으로 수집된 현상-설명 쌍을 기반으로, 개방 도메인의 '왜' 질문에 대해 자연어 설명을 생성하는 순서-순서 모델을 제안한다. 이 방법은 수동으로 구성된 지식 기반 자료가 없이도 인간 평가에서 유창하고 타당한 설명을 생성하며, 기존의 베이스라인에 비해 일관성 있고 맥락을 고려한 설명 생성에서 뛰어난 성능을 보인다.

ABSTRACT

Providing plausible responses to why questions is a challenging but critical goal for language based human-machine interaction. Explanations are challenging in that they require many different forms of abstract knowledge and reasoning. Previous work has either relied on human-curated structured knowledge bases or detailed domain representation to generate satisfactory explanations. They are also often limited to ranking pre-existing explanation choices. In our work, we contribute to the under-explored area of generating natural language explanations for general phenomena. We automatically collect large datasets of explanation-phenomenon pairs which allow us to train sequence-to-sequence models to generate natural language explanations. We compare different training strategies and evaluate their performance using both automatic scores and human ratings. We demonstrate that our strategy is sufficient to generate highly plausible explanations for general open-domain phenomena compared to other models trained on different datasets.

연구 동기 및 목표

• 개방 도메인의 '왜' 질문에 대해 자연스럽고, 자연스럽고, 타당한 설명을 생성하는 데 도전하며, 기존의 설명을 순위 매기는 것 이상의 접근을 하기 위해.
• 기존 챗봇 데이터셋에서의 데이터 부족 문제를 해결하여 모델이 '왜' 질문에 효과적으로 대답할 수 있도록 하기 위해.
• 신경 순서-순서 모델을 사용하여 자동으로 구성된 데이터셋으로 훈련된 스케일 수 있는 종단 간 방법을 개발하기 위해.
• 모델이 '왜' 질문을 문장 형태로 재구성하여 설명 생성기의 입력으로 사용할 수 있도록 단일 라운드 채팅 챗봇으로 기능할 수 있도록 하기 위해.
• 문법성, 타당성, 유용성 등에 대해 자동 평가 지표와 인간 평가를 병행하여 생성된 설명의 품질을 평가하기 위해.

제안 방법

• Stanford CoreNLP를 사용한 의존 구문 분석을 통해 '왜'를 포함한 문장에서 현상-설명 쌍을 추출하고, 이를 S1(현상)과 S2(설명)로 분할한다.
• 모델의 입력 시퀀스로 사용하기 위해 이전 다섯 문장의 맥락을 수집하고, <SEP> 토큰을 사용해 S1와 연결하여 새로운 자가 설명 데이터셋을 구성한다.
• 모델는 순서-순서 작업으로 간주되며, C1,...,C5 <SEP> S1를 입력으로 받아 S2를 설명으로 예측한다.
• 의존 구문 분석에서 주어, 돕는 동사, 동사 요소를 추출하여 '왜' 질문을 S1 스타일의 문장으로 변환하는 새로운 알고리즘(알고리즘 1)을 제안한다.
• 모델는 Transformer 기반 아키텍처(L2E-Seq2Seq)를 사용하며, LSTM 기반 모델 및 다른 데이터셋에서 미세조정된 언어 모델과 비교한다.
• 인간 평가는 아마존 Mechanical Turk를 통해 수행되며, 평가자는 생성된 설명의 문법성, 타당성, 유용성, 관련성 등을 평가한다.

실험 결과

연구 질문

• RQ1 신경 순서-순서 모델은 수동으로 구성된 지식 기반 자료 없이도 개방 도메인의 '왜' 질문에 대해 자연스럽고 타당한 자연어 설명을 생성할 수 있는가?
• RQ2 현상 이전의 다섯 문장의 맥락을 포함함으로써 생성된 설명의 주제적 관련성과 품질이 향상되는가?
• RQ3 자동으로 추출된 '왜' 절 쌍으로 훈련된 모델이 인간 평가에서 타당성이 높은 설명을 생성할 수 있는가?
• RQ4 인간 평가 기반의 설명 품질과 유창성 측면에서 제안된 모델의 성능이 기존 베이스라인에 비해 어떻게 뛰어나게 되는가?
• RQ5 모델가 단일 라운드 채팅 챗봇으로 기능할 수 있도록 '왜' 질문에 대답할 수 있도록 얼마나 잘 적응할 수 있는가?

주요 결과

• L2E-Seq2Seq 모델은 인간 평가에서 문법성 점수 0.738(95% CI: 0.70–0.77)를 기록하여 원본 설명(0.684)보다 뛰어난 성능을 보였다.
• 전반적인 타당성 측면에서 모델 점수는 0.543(95% CI: 0.50–0.59)였으며, 원본 설명(0.710)보다 낮았지만 중립 기준점인 0.5를 초과했다.
• 인간 평가에서 생성된 설명은 원본 설명(0.696)보다 더 유용하다는 평가(0.512)를 받았으며, 이는 대화 시스템에 실질적인 구현 가능성을 시사한다.
• 인간 평가자들은 생성된 설명이 원본 설명보다 더 문법적으로 정확하다고 평가했으며, 이는 낮은 타당성 점수에도 불구하고 유창성이 향상되었음을 시사한다.
• 모델는 다른 언어 모델(LM-1B 등)과 다른 데이터셋에서 훈련된 다른 Seq2Seq 모델보다 맥락에 맞고 자연스러운 어조의 설명 생성에서 뛰어난 성능을 보였다.
• 본 연구는 '왜' 절에서 자동으로 수집된 자가 설명 데이터로 훈련함으로써 모델이 타당한 설명을 생성할 수 있음을 확인했지만, 인간 수준의 품질은 아직 달성되지 않았다.