[논문 리뷰] QADiscourse -- Discourse Relations as QA Pairs: Representation, Crowdsourcing and Baselines

Valentina Pyatkin, Ayal Klein외 2명|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 39인용 수 4

한 줄 요약

이 논문은 논의 관계를 질문-답변(QA) 쌍으로 표현하는 새로운 프레임워크인 QADiscourse를 소개한다. 이는 논의 관계의 스케일러블하고 커뮤니티 기반의 주석을 가능하게 한다. 논의 관계를 관계 유형을 나타내는 질문 접두사가 붙은 QA 쌍으로 프레임화함으로써, 저자들은 약 9,000개의 문장에서 유의미한 QA 쌍 16,600개 이상의 대규모 오픈소스 데이터셋을 수집하였으며, 논의 인식 질문과 답변을 예측하기 위한 베이스라인 모델을 수립하였다. BERT 기반 파ip라인을 사용하여 포인터-생성 질문 생성과 미세조정된 SQuAD 답변 예측을 적용한 결과, 테스트 세트에서 F1 점수 83.69%를 달성하였다.

ABSTRACT

Discourse relations describe how two propositions relate to one another, and identifying them automatically is an integral part of natural language understanding. However, annotating discourse relations typically requires expert annotators. Recently, different semantic aspects of a sentence have been represented and crowd-sourced via question-and-answer (QA) pairs. This paper proposes a novel representation of discourse relations as QA pairs, which in turn allows us to crowd-source wide-coverage data annotated with discourse relations, via an intuitively appealing interface for composing such questions and answers. Based on our proposed representation, we collect a novel and wide-coverage QADiscourse dataset, and present baseline algorithms for predicting QADiscourse relations.

연구 동기 및 목표

• 전문가 주석 기반의 논의 관계 데이터셋의 높은 비용과 낮은 확장성을 해결하기 위해, 직관적인 QA 쌍을 사용한 커뮤니티 기반 주석을 가능하게 하기 위해.
• 질문 접두사가 관계 유형을 인코딩하는 방식으로 논의 관계를 QA 쌍으로 표현함으로써, 비전문가가 복잡한 관계를 주석 지을 수 있도록 하기 위해.
• 자연어 문장에서 논의 인식 QA 쌍의 광범위한 커버리지와 오픈소스 데이터셋을 수집하기 위해.
• 입력 문장에서 질문(관계 유형 포함)과 답변(논의 단위)을 동시에 예측하기 위한 베이스라인 모델을 수립하기 위해.

제안 방법

• 논의 관계를 QA 쌍으로 표현하며, 질문 접두사가 관계 유형을 인코딩하고(예: 원인 관계에 대해 '왜?' 접두사 사용), 답변은 대상 논의 단위가 된다.
• 비전문가가 관계 유형과 논의 단위의 일치를 중시하여 의미 있는 QA 쌍을 생성할 수 있도록 도와주는 커뮤니티 주석 인터페이스를 설계한다.
• 문장의 일부와 관계 접두사를 기반으로 BERT 인코딩 포인터-생성 모델을 사용하여 질문 본문을 생성함으로써, 단어의 복사 및 생성을 가능하게 한다.
• SQuAD와 QADiscourse 데이터셋의 일부를 미세조정하여, 정답 스판을 골드 질문에서 예측하는 데 사용하는 BERT 모델을 미세조정한다.
• 두 단계 파이프라인을 적용함: 먼저 질문을 생성하고, 그 다음에 답변을 예측함. 클래스 불균형을 고려해 손실 함수를 가중치 적용한다.
• UQA(Unlabeled QA alignment)와 LQA(Labeled accuracy) 평가 지표를 사용하여 평가하며, 관계 유형 예측의 접두사 정확도도 포함한다.

실험 결과

연구 질문

• RQ1 질문 접두사가 관계 유형을 인코딩하는 QA 쌍 형식을 사용하여 논의 관계를 효과적으로 표현하고 커뮤니티 기반 주석을 수행할 수 있는가?
• RQ2 이 QA 기반 인터페이스를 사용할 때 비전문가 주석자가 신뢰성 있게 고질적 논의 인식 QA 쌍을 생성할 수 있는가?
• RQ3 신경망 모델이 원시 문장에서 논의 인식 질문과 답변을 동시에 예측하는 데 얼마나 효과적인가?
• RQ4 기존 주석 체계와 비교했을 때, 제안된 QA 기반 표현 방식이 논의 관계의 의미적·구조적 뉘앙스를 얼마나 잘 유지하는가?
• RQ5 QADiscourse 프레임워크에서 질문 접두사와 답변 스판을 예측하는 데 있어, 베이스라인 모델의 성능 한계는 어느 정도인가?

주요 결과

• QADiscourse 데이터셋은 약 9,000개의 문장에서 유의미한 QA 쌍 16,600개 이상를 수집하여 광범위한 커버리지와 오픈소스 자원으로서의 가치를 지닌다.
• 전체 파이프라인 베이스라인은 UQA 평가를 통해 테스트 세트에서 F1 점수 83.69%를 달성하여 종단 간 논의 QA 예측의 가능성을 입증하였다.
• 관계 유형 예측의 접두사 정확도는 테스트 세트에서 49.94%였으며, 이는 유형 분류 개선 여지가 크다는 것을 시사한다.
• 골드 질문이 주어진 상황에서 답변 예측 정확도는 테스트 세트에서 72.3%에 도달하여 스판 추출에서 뛰어난 성능을 보였다.
• 정성적 분석 결과, 샘플링된 예측 중 44%가 정확하다고 평가되었으며, 모델은 새로운 동사나 비연속적인 스팬에서 질문을 형성하는 데 잘 일반화된 것으로 나타났다.
• 모델은 문법적으로 잘못되었지만 의미적으로 타당한 QA 8개와 문법적으로는 올바르지만 의미가 없는 QA 8개를 생성하였으며, 이는 어휘 유창성과 의미 유지의 과제를 드러내었다.