[논문 리뷰] Break, Perturb, Build: Automatic Perturbation of Reasoning Paths Through Question Decomposition

Mor Geva, Tomer Wolfson외 1명|arXiv (Cornell University)|2021. 07. 29.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 독해에서 질문-답변 쌍의 고품질, 추론 중심의 자동 생성 변형을 위한 Break, Perturb, Build (BPB) 프레임워크를 소개한다. 질문을 QDMR 추론 경로로 분해하고, 기호적 변형을 적용하며, 다시 질문과 답변을 재구성함으로써 BPB는 수천 개의 다양하고 의미적으로 풍부한 평가 예제를 생성한다. 이는 인간의 주석 없이 모델의 약점을 드러내고 강건성을 향상시킨다.

ABSTRACT

Recent efforts to create challenge benchmarks that test the abilities of natural language understanding models have largely depended on human annotations. In this work, we introduce the "Break, Perturb, Build" (BPB) framework for automatic reasoning-oriented perturbation of question-answer pairs. BPB represents a question by decomposing it into the reasoning steps that are required to answer it, symbolically perturbs the decomposition, and then generates new question-answer pairs. We demonstrate the effectiveness of BPB by creating evaluation sets for three reading comprehension (RC) benchmarks, generating thousands of high-quality examples without human intervention. We evaluate a range of RC models on our evaluation sets, which reveals large performance gaps on generated examples compared to the original data. Moreover, symbolic perturbations enable fine-grained analysis of the strengths and limitations of models. Last, augmenting the training data with examples generated by BPB helps close the performance gaps, without any drop on the original data distribution.

연구 동기 및 목표

• 표면 수준의 변형을 넘어서 모델의 추론 강건성을 테스트하는 스케일러블하고 고품질의 평가 세트가 부족한 문제를 해결한다.
• 비용이 많이 들고 다양성이 제한된 인간 주석 기반 대조 세트의 한계를 극복한다.
• 심층적 모델 이해를 테스트하는 의미적으로 유의미한 추론 수준의 변형을 자동 생성할 수 있도록 한다.
• 다양한 추론 유형에 걸쳐 모델의 약점을 드러내는 스케일러블하고 모듈식인 평가 세트 생성 파이프라인을 제공한다.
• BPB로 생성된 예제를 활용한 데이터 증강이 원래 데이터에 대한 성능을 떨어뜨리지 않으면서 모델의 일반화 능력을 향상시킨다는 것을 입증한다.

제안 방법

• 질문을 질문 분해 의미 표현(질문-의미 표현, QDMR)으로 분석하여 자연어 작업의 시퀀스로 추론 단계를 표현한다.
• 규칙 기반 기호적 변형을 QDMR 분해에 적용하여 추론 경로를 변경(예: 비교를 뺄셈으로 변경)하면서 문법적 일관성을 유지한다.
• 사전 훈련된 질문 생성(QG) 모델을 사용하여 변형된 QDMR 분해에서 자연어 질문을 재구성한다.
• 단일 허브 독해 모델을 사용하여 생성된 질문에 대한 답을 계산하거나 정확한 답이 불가능할 경우 답 제약 조건(예: 유형, 범위)을 도출한다.
• 현장 조사로 생성된 예제를 검증하여 생성된 예제의 정확도가 ≥85%를 확보한다.
• BPB로 생성된 예제를 학습 데이터에 통합하여 분포 외 추론 패턴에서의 모델 일반화 능력을 평가하고 향상시킨다.

실험 결과

연구 질문

• RQ1 질문의 추론 경로를 자동으로 변형하여 인간 주석 없이 고품질이고 다양한 평가 예제를 생성할 수 있는가?
• RQ2 최첨단 독해 모델이 원래 벤치마크와 비교해 BPB로 생성된 대조 세트에서 얼마나 높은 실패율을 보이는가?
• RQ3 수치적, 비교적, 논리적 등 다양한 추론 변형 유형이 각각 어떤 모델의 약점을 드러내는가?
• RQ4 BPB로 생성된 예제를 활용한 데이터 증강이 분포 외 추론 패턴에서의 성능 격차를 줄일 수 있는가, 원래 데이터 분포에서의 성능은 떨어지지 않는가?
• RQ5 정확한 답을 계산할 수 없을 경우 답 제약 조건이 평가의 대체 수단으로 얼마나 효과적인가?

주요 결과

• BPB는 DROP, HotpotQA, IIRC 세 가지 독해 벤치마크에서 원래 예제의 63.5%에서 70.2%를 생성하였으며, 현장 조사로 ≥85%의 정확도를 확인하였다.
• UnifiedQA와 TASE와 같은 선도적인 모델은 BPB로 생성된 세트에서 상당한 성능 저하를 보였으며, F1 점수는 13~36점 감소하고 일관성은 40% 이하였다.
• UnifiedQA는 수치 계산이 필요한 질문에서 완전히 실패했으며, 특히 '≥'와 '<='와 같은 제약 조건에서 더 작은 수를 예측하는 경향을 보였다.
• TASE는 DROP에서 중간 추론 단계에서 어려움을 겪었고, 예/아니요 질문이 적은 데이터셋에서 미세조정을 거친 후 UnifiedQA는 제약 조건 충족률이 낮아졌다.
• BPB로 생성된 예제를 활용한 데이터 증강은 분포 외 추론 패턴에서의 성능 격차를 줄였으며, 원래 데이터 분포에서의 성능은 떨어지지 않았다.
• HotpotQA와 IIRC에서 UnifiedQA를 미세조정한 결과 제약 조건 충족률은 각각 94.7%에서 76.3%, 65.4%에서 38.9%로 감소하여 도메인 이동이 제약 조건 예측에 부정적인 영향을 미친다는 것을 보여주었다.