[논문 리뷰] Challenges in Generalization in Open Domain Question Answering

Linqing Liu, Patrick Lewis외 2명|arXiv (Cornell University)|2021. 09. 02.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 개방형 질의응답(ODQA)에서 일반화 도전 과제를 조사하기 위해 신규 질문을 세 가지 유형으로 분류한다: 훈련 세트 겹침, 조합 일반화(comp-gen), 그리고 신규 엔티티 일반화. 연구 결과, 강력한 모델들이라도 comp-gen 및 신규 엔티티 질문에서 상당한 성능 저하를 보이며, 각각 최대 13.1%와 5.4% 감소함을 확인하여, 조합 및 엔티티 수준의 일반화가 특히 비모수 모델에서 주요 장애물임을 시사한다.

ABSTRACT

Recent work on Open Domain Question Answering has shown that there is a large discrepancy in model performance between novel test questions and those that largely overlap with training questions. However, it is unclear which aspects of novel questions make them challenging. Drawing upon studies on systematic generalization, we introduce and annotate questions according to three categories that measure different levels and kinds of generalization: training set overlap, compositional generalization (comp-gen), and novel-entity generalization (novel-entity). When evaluating six popular parametric and non-parametric models, we find that for the established Natural Questions and TriviaQA datasets, even the strongest model performance for comp-gen/novel-entity is 13.1/5.4% and 9.6/1.5% lower compared to that for the full test set -- indicating the challenge posed by these types of questions. Furthermore, we show that whilst non-parametric models can handle questions containing novel entities relatively well, they struggle with those requiring compositional generalization. Lastly, we find that key question difficulty factors are: cascading errors from the retrieval component, frequency of question pattern, and frequency of the entity.

연구 동기 및 목표

• 훈련과 유사한 질의에서 강력한 성능을 보이는 개방형 질의응답(ODQA) 모델이 왜 새로운 질문에 일반화하지 못하는지 이해하는 것.
• 신규 질문을 겹침, 조합 일반화(comp-gen), 그리고 신규 엔티티 일반화로 분리하여 실패 원인을 고립하는 것.
• Natural Questions, TriviaQA, WebQuestions에서 최신의 파rametric 및 비모수 모델 여섯 종류의 성능을 이 세 가지 범주에서 평가하는 것.
• 낮은 성능의 근본 원인을 검토하며, 검색 품질, 질문 패턴 빈도, 엔티티 빈도 등을 고려하는 것.
• ODQA에서 일반화에 실패하는 주요 장애물이 알려지지 않은 엔티티인지, 아니면 조합적 구조인지 규명하는 것.

제안 방법

• 시험 질문을 세 가지로 분류한 새로운 분류 방식을 제안: (1) 겹침(훈련 데이터에서 약간 변형된 재구성), (2) 조합 일반화(기존 사실/구조의 새로운 조합), (3) 신규 엔티티 일반화(알 수 없는 엔티티 포함).
• 질문의 원자적 요소를 식별하기 위해 의미 분해 기법을 사용해 Natural Questions, TriviaQA, WebQuestions 세 개의 기존 ODQA 데이터셋을 수동으로 주석 처리.
• 최근의 여섯 개의 ODQA 모델(파rametric 및 비모수 아키텍처 포함)을 각 범주에서 평가하여 성능 저하를 측정.
• 질문 패턴 빈도와 엔티티 빈도가 모델 정확도에 미치는 영향을 분석하여 성능과의 강한 상관관계를 발견.
• 각 범주에서 상위 20개 문단 검색 정확도를 측정하여 검색 품질을 평가하고, comp-gen 및 신규 엔티티 질문에서 일관되게 낮은 성능을 보임을 확인.
• 신규 엔티티를 기존에 본 것으로 교체함으로써 성능 향상을 분석하여, 엔티티의 신규성과 조합 복잡성의 영향을 분리.

실험 결과

연구 질문

• RQ1 어떤 특정 요소가 ODQA 모델의 성능 저하를 유발하는가?
• RQ2 겹침, 조합 일반화, 신규 엔티티 일반화와 같은 다양한 일반화 유형이 최신 ODQA 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 낮은 빈도의 질문 패tern과 희귀 엔티티가 모델 실패에 얼마나 기여하는가?
• RQ4 ODQA 일반화에서 주요 장애물은 알려지지 않은 엔티티인지, 아니면 조합적 구조인가?
• RQ5 검색 품질은 comp-gen 및 신규 엔티티 질문에서 일반화 실패와 어떻게 관련되어 있는가?

주요 결과

• Natural Questions 데이터셋에서 가장 강력한 모델의 조합 일반화(comp-gen) 성능은 전체 테스트 세트 대비 13.1% 낮았고, 신규 엔티티 일반화에서는 5.4% 낮았다.
• TriviaQA에서 comp-gen 성능은 전체 테스트 세트 대비 9.6% 감소했고, 신규 엔티티는 1.5% 감소하여 지속적인 일반화 격차가 있음을 시사한다.
• 비모수 모델은 신규 엔티티 질문을 상대적으로 잘 처리하지만, 조합 일반화에서는 크게 어려움을 겪어, 구성성(Compositionality)이 핵심 과제임을 시사한다.
• comp-gen 질문의 성능은 엔티티 빈도와 강하게 부비례한다: 질문 내 엔티티가 더 희귀할수록 정확도가 낮아진다.
• 상위 20개 문단 검색 정확도는 comp-gen 및 신규 엔티티 서브셋에서 약 75%로 동일하게 나타나, 검색이 주요 장애물임을 시사한다.
• 질문과 문단에서 신규 엔티티를 기존에 본 것으로 교체해도 성능 향상이 유의미하지 않아, 핵심 문제는 엔티티의 신규성보다는 조합 일반화임을 시사한다.