[논문 리뷰] Think you have Solved Direct-Answer Question Answering? Try ARC-DA, the Direct-Answer AI2 Reasoning Challenge

Sumithra Bhakthavatsalam, Daniel Khashabi외 7명|arXiv (Cornell University)|2021. 02. 05.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 ARC(OpenAI AI2 Reasoning Challenge) 데이터셋의 직접 답변(자유형 응답) 버전인 ARC-DA를 소개한다. 전문가가 구성한 다중선택 과학 문제들을 커뮤니티 기반으로 및 전문가 검토를 통해 자유형 응답 형식으로 변환하였다. 강력한 기준 성능(81% GENIE, 63.2% ROUGE-L)에도 불구하고 결과는 향상 여지를 명확히 드러내며, 자연스럽고 다중선택 형식이 아닌 방식에서의 추론 기반 질의응답을 위한 도전적인 기준으로서 ARC-DA를 확립한다.

ABSTRACT

We present the ARC-DA dataset, a direct-answer ("open response", "freeform") version of the ARC (AI2 Reasoning Challenge) multiple-choice dataset. While ARC has been influential in the community, its multiple-choice format is unrepresentative of real-world questions, and multiple choice formats can be particularly susceptible to artifacts. The ARC-DA dataset addresses these concerns by converting questions to direct-answer format using a combination of crowdsourcing and expert review. The resulting dataset contains 2985 questions with a total of 8436 valid answers (questions typically have more than one valid answer). ARC-DA is one of the first DA datasets of natural questions that often require reasoning, and where appropriate question decompositions are not evident from the questions themselves. We describe the conversion approach taken, appropriate evaluation metrics, and several strong models. Although high, the best scores (81% GENIE, 61.4% F1, 63.2% ROUGE-L) still leave considerable room for improvement. In addition, the dataset provides a natural setting for new research on explanation, as many questions require reasoning to construct answers. We hope the dataset spurs further advances in complex question-answering by the community. ARC-DA is available at https://allenai.org/data/arc-da

연구 동기 및 목표

• 다중선택 형식의 질의응답 데이터셋이 자연스럽지 않으며 단기적 학습 전략에 취약하다는 점을 해결하기 위해, ARC 데이터셋의 직접 답변(자유형 응답) 형식을 만든다.
• 반복적이거나 편향이 있는 커뮤니티 기반 데이터셋에서 흔히 발생하는 문제를 피하면서, 추론이 필요한 천연 과학 질문의 고품질, 전문가가 구성한 데이터셋을 제공한다.
• 응답이 텍스트의 일부 분할에 제한되지 않는 복잡한 개방형 질의응답 연구를 가능하게 하며, 추론과 설명을 지원한다.
• 원래 ARC 데이터셋의 추론 복잡성을 유지하면서도 실제 세계의 질의응답 상황을 반영하는 기준을 수립한다.
• 최신 기술 모델의 직접 답변 질의응답 성능을 평가하고, 자동 평가 지표와 인간 평가 간의 신뢰성을 비교한다.

제안 방법

• 전문가 검토와 커뮤니티 기반 작업을 융합한 하이브리드 접근 방식을 통해 ARC 데이터셋의 2,985개 다중선택 문제를 직접 답변 형식으로 변환하여 정답의 타당성과 다양성을 확보하였다.
• 질문당 다수의 유효한 답변(총 8,436개)을 수집하여 어조의 자연스러운 다양성과 정교한 평가를 반영하였다.
• 신뢰할 수 있는 인간 평가를 확보하기 위해 GENIE라는 자동화된 커뮤니티 스코링 파이프라인을 활용하여 답변 품질 평가를 수행하였으며, 校정을 위해 추가로 전문가 평가도 실시하였다.
• 자동 평가 지표로 F1 및 ROUGE-L을 사용하였지만, 인간 평가에 비해 한계가 있음을 인정하였다.
• T5 기반 강력한 모델들(예: UnifiedQA)을 ARC-DA 데이터셋에 맞추어 미세조정하고, 자동 평가 지표와 인간 평가 점수를 모두 사용하여 평가하였다.
• 원래 ARC 다중선택 데이터셋에 동일한 모델을 적용한 분석을 통해, 형식 간 성능 향상의 가능성을 입증하였다.

실험 결과

연구 질문

• RQ1 다중선택지가 없는 고품질의 추론 중심 데이터셋인 ARC-DA에서 직접 답변 질의응답 모델이 높은 성능을 달성할 수 있는가?
• RQ2 자동 평가 지표(F1, ROUGE-L)는 직접 답변 질의응답 성능 평가에서 인간 평가 점수와 어떻게 비교되는가?
• RQ3 직접 답변 데이터로 학습하는 것이 다중선택 질의응답 성능 향상에 얼마나 기여하는가? 반대로 그 반대의 경우도 마찬가지인가?
• RQ4 오픈형 응답 기반 추론 질의응답에서 모델 성능과 인간 평가 기준(골드 표준) 사이의 격차는 어느 정도인가?
• RQ5 ARC-DA에서의 유효한 답변의 다양성이 모델 일반화 능력과 평가 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 최고의 모델은 GENIE 인간 평가 점수에서 81%를 기록하여 강력한 성능를 보였지만, 아직 완벽하지 않아 향상 여지가 크다는 것을 시사한다.
• 최고의 모델은 F1에서 61.4%, ROUGE-L에서 63.2%를 기록하여 자동 평가 지표와 인간 평가 간에 뚜렷한 격차가 있음을 보여주었다.
• 인간 평가 점수(GENIE 및 EXPERT)는 자동 평가 지표보다 높았으며, 이는 현재 자동 평가 지표가 모델 성능을 과소 평가하고 있으며, 유효한 답변 표현의 다양성을 간과하고 있음을 시사한다.
• GENIE 점수는 전문가 평가 점수보다 略로 낮았으며, 이는 인간 평가가 더 신뢰도가 높고 GENIE의 파이프라인이 노이즈나 오류가 있을 수 있음을 시사한다.
• ARC-DA에서의 학습은 원래 ARC 다중선택 데이터셋의 성능 향상에도 기여하였으며, UnifiedQA 모델은 ARC-Challenge에서 81.4%, ARC-Easy에서 92.7%의 성능을 기록하여 형식 간 학습 이점이 있음을 입증하였다.
• 결과는 직접 답변 질의응답이 추론 기반 질의응답에 있어 실현 가능하고 더 자연스러운 환경임을 확인하였으며, ARC-DA는 향후 NLP 연구를 위한 의미 있는 도전 과제로 기능한다.