[논문 리뷰] A Generate-Validate Approach to Answering Questions about Qualitative Relationships

Arindam Mitra, Chitta Baral외 2명|arXiv (Cornell University)|2019. 08. 09.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 논문은 자연어 생성과 검증을 통해 질적 관계에 대한 질문에 답하는 데 위한 generate-validate 프레임워크를 제안한다. 기존의 의미 분석 기반 접근 방식을 대체하여 논리형식의 자연어 해석을 생성하고 입력 텍스트와의 일관성을 검증함으로써, QUAREL 벤치마크에서 기존 최고 성능(SOTA) 대비 7.93% 향상(68.7%에서 76.63%)을 달성하였다. BERT와 SNLI 데이터셋을 통한 미세조정을 통해 전이 학습 능력과 견고성을 향상시켰다.

ABSTRACT

Qualitative relationships describe how increasing or decreasing one property (e.g. altitude) affects another (e.g. temperature). They are an important aspect of natural language question answering and are crucial for building chatbots or voice agents where one may enquire about qualitative relationships. Recently a dataset about question answering involving qualitative relationships has been proposed, and a few approaches to answer such questions have been explored, in the heart of which lies a semantic parser that converts the natural language input to a suitable logical form. A problem with existing semantic parsers is that they try to directly convert the input sentences to a logical form. Since the output language varies with each application, it forces the semantic parser to learn almost everything from scratch. In this paper, we show that instead of using a semantic parser to produce the logical form, if we apply the generate-validate framework i.e. generate a natural language description of the logical form and validate if the natural language description is followed from the input text, we get a better scope for transfer learning and our method outperforms the state-of-the-art by a large margin of 7.93%.

연구 동기 및 목표

• 질적 추론 작업에서 자연어를 논리형식으로 매핑하는 데 있어 전통적 의미 분석기의 한계를 해결하기 위해.
• 생성과 검증을 분리함으로써 질문 응답 시 질적 관계에 대한 전이 학습 및 모델 일반화 능력을 향상시키기 위해.
• 특정 응용 분야의 논리형식을 다시 학습하는 데서 벗어나, 작업별 특화된 지도 학습에 의존도를 줄이기 위해.
• pre-trained 모델(BERT, ESIM)과 외부 데이터셋(SNLI)을 통합하여 더 나은 일반화 능력을 확보함으로써 QUAREL 데이터셋에서의 성능 향상에 기여하기 위해.
• 자연어 생성과 검증이 질적 추론에서 종단 간 의미 분석보다 우월한 성능을 낼 수 있는지 조사하기 위해.

제안 방법

• 논리형식의 자연어 설명(예: '마찰력은 카펫에서 더 크다')을 직접 기호 논리로 매핑하는 대신 생성한다.
• 생성된 설명이 주어진 문맥에 의해 함의되는지 여부를 판단하기 위해 텍스트 함의 모델을 사용해 입력 텍스트와 검증한다.
• 프레임워크는 두 개의 텍스트 함의 모델을 사용한다: 하나는 '주어진 사실'(문맥)에 대해, 다른 하나는 '주장'(선택지)에 대해.
• 모델은 BERT와 ESIM을 텍스트 함의 인코더로 사용하며, QUAREL 및 SNLI 데이터셋에서 미세조정하여 일반화 능력을 향상시킨다.
• 이중 단계 프로세스를 사용한다: 첫 번째 단계는 자연어로 가능한 논리형식을 생성하는 것이며, 두 번째 단계는 텍스트 함의 분류기를 사용해 각 후보를 검증하는 것이다.
• 최고 성능을 보인 설정은 '주어진' 인코더에 QUAREL+SNLI 데이터를 통합해 미세조정한 BERT와 '주장' 인코더에 QUAREL 전용 데이터로만 미세조정한 ESIM을 조합한다.

실험 결과

연구 질문

• RQ1 generate-validate 프레임워크가 질적 추론 작업에서 기존 의미 분석 기반 접근 방식을 능가할 수 있는가?
• RQ2 생성과 검증을 분리함으로써 질문 응답 시 전이 학습 및 일반화 능력이 향상되는가?
• RQ3 제한된 지도 학습 데이터가 존재하는 질적 추론 데이터셋에서 BERT 및 ESIM과 같은 pre-trained 모델의 성능은 어떻게 되는가?
• RQ4 QUIREL 데이터와 SNLI 데이터를 결합하면 주장 점수 산정에서 성능이 저하되는 이유는 무엇이며, 이는 일반화 능력 향상과는 상충되는가?
• RQ5 모델의 주요 실패 원인은 무엇이며, '주어진' 점수 산정 성분을 개선함으로써 이를 완화할 수 있는가?

주요 결과

• 제안된 generate-validate 프레임워크는 QUAREL 테스트 세트에서 76.63%의 정확도를 달성하여 기존 SOTA(68.7%) 대비 7.93%의 절대적 향상을 이룩하였다.
• 최고의 모델 설정은 '주어진' 점수 산정에 QUAREL과 SNLI를 통합해 미세조정한 BERT와 '주장' 점수 산정에 QUAREL 전용 데이터로만 미세조정한 ESIM을 조합한 것이다.
• 전반적인 성능 향상에도 불구하고, 주장 인코더를 SNLI 데이터로 훈련시킬 경우 성능 저하가 발생했으며, 이는 SNLI 전제 문장과 QUAREL의 주장 선택지 사이의 분포 차이로 인한 것으로 보인다.
• QUIREL 전용 데이터로 훈련된 경우, ESIM 모델이 BERT 모델보다 일관되게 뛰어난 성능을 보이며, 이는 작업의 언어 스타일과의 보다 우수한 일치를 의미한다.
• 주요 실패 원인은 잘못된 '주어진 사실' 점수 산정에 기인하며, 두 가지 오류 사례에서 모델이 문맥에 의해 함의되는 주장이 무엇인지 잘못 판단한 것으로 확인되었다.
• 결과적으로, '주어진' 점수 산정 성분을 향상시킬 경우 추가적인 성능 향상이 가능할 것으로 보이며, 주장 생성 및 검증 단계는 이미 매우 정확한 편임을 시사한다.