[논문 리뷰] Break It Down: A Question Understanding Benchmark

Tomer Wolfson, Mor Geva외 5명|arXiv (Cornell University)|2020. 01. 31.

Topic Modeling참고 문헌 50인용 수 5

한 줄 요약

이 논문은 복잡한 질문을 순서화되고 실행 가능한 단계로 분해할 수 있는 자연어 기반 형식 체계인 질문 분해 의미 표현(QDMR)을 소개한다. 저자들은 10개의 데이터셋과 3가지 모odalities(텍스트, 지식 기반, 이미지)를 아우르는 83,978개의 질문-QDMR 쌍을 포함한 Break 데이터셋을 공개하며, QDMR이 HotpotQA에서 개방형 질문 응답 성능을 향상시켜 F1 점수를 43.3에서 52.4로 끌어올렸고, 복사 메커니즘을 갖춘 시퀀스-투-시퀀스 모델이 54%의 정확도를 달성하여 효과적인 신경 구문 분석이 가능하다는 것을 보여준다.

ABSTRACT

Understanding natural language questions entails the ability to break down a question into the requisite steps for computing its answer. In this work, we introduce a Question Decomposition Meaning Representation (QDMR) for questions. QDMR constitutes the ordered list of steps, expressed through natural language, that are necessary for answering a question. We develop a crowdsourcing pipeline, showing that quality QDMRs can be annotated at scale, and release the Break dataset, containing over 83K pairs of questions and their QDMRs. We demonstrate the utility of QDMR by showing that (a) it can be used to improve open-domain question answering on the HotpotQA dataset, (b) it can be deterministically converted to a pseudo-SQL formal language, which can alleviate annotation in semantic parsing applications. Last, we use Break to train a sequence-to-sequence model with copying that parses questions into QDMR structures, and show that it substantially outperforms several natural baselines.

연구 동기 및 목표

• 복잡한 질문의 의미를 실행 가능한 단계로 분해할 수 있는 확장 가능하고 인간이 애너테이션할 수 있는 형식 체계를 개발하는 것.
• 개방형 질문 응답 및 의미 구문 분석 분야에서 구조적이고 조합적인 질문 이해의 부족을 해결하는 것.
• 기본 정보 소스에 관계없이 적용 가능한 대규모 다중 모odal 질문 분해 벤치마크를 구축하는 것.
• QDMR이 질문-응답 시스템의 추론 성능을 향상시키고 형식적인 의미 구문 분석의 대체 수단으로 기능할 수 있음을 입증하는 것.
• 복사 메커니즘을 갖춘 신경 시퀀스-투-시퀀스 모델을 훈련 및 평가하여 QDMR 파싱을 엔드 투 엔드로 수행하는 것.

제안 방법

• 질문을 순서화되고 실행 가능한 자연어 단계로 표현하는 의미 표현 체계인 QDMR을 제안하며, 각 단계는 선택, 필터링, 프로젝션과 같은 원자적 연산에 대응한다.
• 비전문가 애너테이터들이 대규모로 고품질의 QDMR 애너테이션을 생성할 수 있도록 사용자 인터페이스를 갖춘 크라우드소싱 파이프라인을 설계한다.
• 텍스트, 지식 기반, 이미지의 세 가지 모달리티에서 10개의 데이터셋에서 유래한 83,978개의 질문-QDMR 쌍을 포함하는 Break 데이터셋을 수집한다.
• QDMR를 결정론적으로 의사-SQL 형식 언어로 매핑할 수 있음을 입증하여 의미 구문 분석에 활용 가능하게 하고 전문가가 애너테이션한 논리 형식에 대한 의존도를 줄인다.
• 복사 메커니즘을 갖춘 시퀀스-투-시퀀스 신경 모델(CopyNet 스타일)을 훈련시켜 질문에서 QDMR 구조로의 매핑을 수행한다.
• 수동 오류 분석을 통해 QDMR 애너테이션의 품질을 검증하며, 정확도 97.4%와 높은 애너테이터 간 일致성(일致성)을 보고한다.

실험 결과

연구 질문

• RQ1 비전문가가 대규모로 자연어 기반 질문 분해를 신뢰성 있게 애너테이션할 수 있는가?
• RQ2 QDMR은 개방형 질문 응답 시스템의 성능 향상에 어느 정도 기여하는가?
• RQ3 복사 기능을 갖춘 신경 시퀀스-투-시퀀스 모델은 질문을 QDMR 구조로 파싱하는 데 얼마나 잘 성능을 내는가?
• RQ4 QDMR은 의미 구문 분석 작업에서 형식적인 논리 형식의 실용적인 대체 수단으로 기능할 수 있는가?
• RQ5 인간 애너테이터들이 생성한 분해 결과는 얼마나 일관되고 의미적으로 정확한가?

주요 결과

• Break 데이터셋은 97.4%의 애너테이션 정확도를 보이며 확장 가능한 크라우드소싱 파이프라인을 통해 수집된 83,978개의 고품질 질문-QDMR 쌍을 포함한다.
• QDMR은 검색 증강 모델과 함께 사용할 경우 HotpotQA에서 F1 점수를 43.3에서 52.4로 향상시켜 개방형 질문 응답 성능을 개선한다.
• 복사 메커니즘을 갖춘 시퀀스-투-시퀀스 모델 기반 QDMR 파서는 수동 평가에서 54%의 정확도를 기록하여 자동 QDMR 파싱의 가능성을 입증한다.
• 애너테이터 간 일致성 분석에서 85.7%의 예측이 골드 분해 결과와 일치하며, 높은 일관성을 보인다.
• 30%의 경우에서 QDMR 분해 결과는 골드 기준과 의미적으로 동일하며, 오류의 46% 이하에서 잘못된 결과를 내는 것으로 나타나 의도된 의미와 강한 일致성을 보인다.
• QDMR에서 의사-SQL로의 결정론적 매핑은 의미 구문 분석에 활용 가능하게 하여 고비용의 전문가 애너테이션된 논리 형식의 필요성을 줄인다.