[논문 리뷰] ReviewQA: a relational aspect-based opinion reading dataset

Quentin Grail, Julien Pérez|arXiv (Cornell University)|2018. 10. 29.

Topic Modeling참고 문헌 13인용 수 6

한 줄 요약

ReviewQA는 트립어드바이저에서 수집한 100,000건의 호텔 리뷰를 바탕으로 한 대규모 관계형 질문-답변 데이터셋을 소개한다. 이는 단순한 스트링 추출을 넘어서는 추론 능력을 평가하기 위해 설계되었으며, 여덟 가지 추론 작업을 포함한 500,000개 이상의 자연어 질문을 제공한다. 답변은 텍스트에서 추출하는 것이 아니라 후보 집합에서 선택되므로, 복잡한 이해 및 감성 추론에 대한 모델의 강건한 평가가 가능하다. 깊이 있는 프로젝티브 리더 모델이 대부분의 작업에서 베이스라인을 능가하는 최고의 성능을 기록하였다.

ABSTRACT

Deep reading models for question-answering have demonstrated promising performance over the last couple of years. However current systems tend to learn how to cleverly extract a span of the source document, based on its similarity with the question, instead of seeking for the appropriate answer. Indeed, a reading machine should be able to detect relevant passages in a document regarding a question, but more importantly, it should be able to reason over the important pieces of the document in order to produce an answer when it is required. To motivate this purpose, we present ReviewQA, a question-answering dataset based on hotel reviews. The questions of this dataset are linked to a set of relational understanding competencies that we expect a model to master. Indeed, each question comes with an associated type that characterizes the required competency. With this framework, it is possible to benchmark the main families of models and to get an overview of what are the strengths and the weaknesses of a given model on the set of tasks evaluated in this dataset. Our corpus contains more than 500.000 questions in natural language over 100.000 hotel reviews. Our setup is projective, the answer of a question does not need to be extracted from a document, like in most of the recent datasets, but selected among a set of candidates that contains all the possible answers to the questions of the dataset. Finally, we present several baselines over this dataset.

연구 동기 및 목표

• SQuAD와 같은 추출형 QA 데이터셋이 패턴 매칭을 선호하는 데 반해 진정한 추론 능력을 요구하지 않는 점을 해결하기 위해, 관계적이고 구성적인 이해가 필요한 데이터셋을 도입함으로써.
• 감성 분석을 질문-답변 작업으로 공식화함으로써, 사용자 리뷰에 대한 미묘한 의견 추론 능력을 평가할 수 있도록 함.
• 100,000건의 호텔 리뷰와 500,000개의 질문을 포함한 대규모 프로젝티브 QA 벤치마크를 제공함으로써 여덟 가지의 명확히 구분된 추론 역량을 커버함.
• 각 질문에 특정한 추론 유형을 연결함으로써 추론 모델의 강점과 약점을 세밀하게 분석할 수 있는 종합적인 평가 프레임워크를 제공함.
• 향후 독해에서의 추론 연구를 위한 강력한 베이스라인, 특히 새로운 깊이 있는 프로젝티브 리더 모델을 제공함.

제안 방법

• 데이터셋은 트립어드바이저의 호텔 리뷰에서 유래되었으며, 각 리뷰는 청결도, 가치 등 다양한 요소에 대한 평가 점수와 종합 평점으로 애너테이션되어 질문 생성의 기초가 된다.
• 질문은 커뮤니티 기반으로 수집되며, 역번역을 통해 다양한 자연어 표현을 생성함으로써 언어적 다양성을 확보하면서도 의미는 유지한다.
• 각 질문은 단순한 스트링 추출에서 복잡한 추론까지 다양하게 포함된 여덟 가지 추론 유형 중 하나에 연결된다.
• 프로젝티브 답변 선택 기법을 사용함: 문서에서 스트링을 추출하는 대신, 사전에 정의된 후보 집합에서 정답을 선택함으로써, 정확한 스트링 매칭에 의존하지 않고도 추론 능력을 평가할 수 있다.
• 딥 프로젝티브 리더 모델을 제안함. 이는 양방향 LSTMs, 질문-문서 어텐션, 문서 내에서의 자기 어텐션, 그리고 컨텍스트를 답변 공간으로 매핑하는 투영층을 조합한다.
• 베이스라인으로는 단순한 LSTM, 5단계 메모리 힙을 가진 MemN2N, 로지스틱 회귀, 그리고 제안된 딥 프로젝티브 리더 모델이 포함되며, 공통된 초모델 하이퍼파라미터(Adam 옵timizer, 300D GloVe 임베딩, 배치 크기 64)를 사용해 전체 데이터셋에서 훈련된다.

실험 결과

연구 질문

• RQ1 질문-답변 프레임워크는 단순한 스트링 추출을 넘어서 관계적 추론을 효과적으로 평가할 수 있는가?
• RQ2 다양한 추론 작업을 포함한 사용자 생성 호텔 리뷰에서 유도된 다양한 모델 아키텍처의 성능은 어떻게 다른가?
• RQ3 문서의 변형이 발생할 경우, 추출형 베이스라인에 비해 프로젝티브 답변 선택 기법이 얼마나 더 강건한가?
• RQ4 자기 어텐션과 질문 인식 인코딩을 갖춘 딥 프로젝티브 리더 모델은 복잡한 의견 추론 작업에서 기존 아키텍처를 능가할 수 있는가?
• RQ5 다양한 추론 유형(예: 정확한 평점 예측, 비교적 추론)은 현재 독해 모델의 각기 다른 약점을 어떻게 드러내는가?

주요 결과

• 딥 프로젝티브 리더 모델은 ReviewQA 테스트 세트에서 전체적으로 가장 높은 성능을 기록하였으며, 대부분의 추론 작업에서 모든 다른 베이스라인을 능가하였다.
• 단순한 LSTM과 MemN2N 모델은 고급 추론 작업, 특히 작업 5(정확한 요소 평점 예측)에서 성능이 열악하여 복잡한 의견 구조를 모델링하는 데 한계가 있음을 보여주었다.
• 로지스틱 회귀는 대부분의 작업에서 합리적인 성능을 보였으며, 작업 6(요소 목록)에서 가장 낮은 성능을 보여, 다중 답변 예측에 최적화되어 있지 않음을 시사한다.
• 프로젝티브 리더의 질문-문서 및 문서-문서 어텐션 레이어 사용은 더 rich한 컨텍스트 인코딩을 가능하게 하여, 맥락 추론이 필요한 작업에서 뛰어난 성능을 기록하였다.
• 데이터셋의 프로젝티브 설정—즉, 답변을 문서에서 추출하는 것이 아니라 후보 집합에서 선택하는 방식—은 추론 평가에 효과적이었으며, 정확한 스트링 매칭에 의존도를 줄이고 강건성을 높였다.
• 역번역된 질문의 포함은 의미 일致성을 유지하면서 언어적 다양성을 증가시켜, 언어 변형에 대한 일반화 평가를 지원하였다.