[논문 리뷰] FLUTE: Figurative Language Understanding through Textual Explanations

Tuhin Chakrabarty, Arkadiy Saakyan외 2명|arXiv (Cornell University)|2022. 05. 24.

Natural Language Processing Techniques인용 수 7

한 줄 요약

FLUTE는 비유적 언어 이해를 위한 새로운 9,000개 샘플 기반 벤치마크로, 의미상 일치/모순 레이블과 자유형 텍스트 설명이 부여된 실제 문장과 비유적 문장 쌍을 포함한다. 이는 GPT-3와 인간 검수자(현장 작업자 및 전문가)를 결합한 모델-인-더-루프 프레임워크를 사용하여 고품질 데이터 수집을 스케일링하며, T5를 FLUTE로 미세조정하면 e-SNLI로 미세조정하는 것보다 훨씬 더 우수한 설명을 생성함으로써, 비유적 언어를 올바른 이유로 이해하는 모델을 구축하는 데 기여한다.

ABSTRACT

Figurative language understanding has been recently framed as a recognizing textual entailment (RTE) task (a.k.a. natural language inference, or NLI). However, similar to classical RTE/NLI datasets, the current benchmarks suffer from spurious correlations and annotation artifacts. To tackle this problem, work on NLI has built explanation-based datasets such as e-SNLI, allowing us to probe whether language models are right for the right reasons.Yet no such data exists for figurative language, making it harder to assess genuine understanding of such expressions. To address this issue, we release FLUTE, a dataset of 9,000 figurative NLI instances with explanations, spanning four categories: Sarcasm, Simile, Metaphor, and Idioms. We collect the data through a model-in-the-loop framework based on GPT-3, crowd workers, and expert annotators. We show how utilizing GPT-3 in conjunction with human annotators (novices and experts) can aid in scaling up the creation of datasets even for such complex linguistic phenomena as figurative language. The baseline performance of the T5 model fine-tuned on FLUTE shows that our dataset can bring us a step closer to developing models that understand figurative language through textual explanations.

연구 동기 및 목표

• 비유적 언어 이해를 위한 설명 기반 벤치마크의 부족을 해결하여, 모델이 표면적인 상관관계를 넘어 일반화하는지 평가하는 데 어려움을 겪는 문제를 해결한다.
• 자연어 설명이 첨부된 비유적 NLI 인스턴스의 스케일링이 가능하고 고품질인 데이터셋을 개발하여 진정성 있는 모델 해석 가능성을 지원한다.
• 기존 NLI 벤치마크와 비교해 설명 기반의 비유적 언어 데이터로 훈련하면 모델 성능과 설명 품질이 향상되는지 평가한다.
• GPT-3와 인간 검증을 통한 모델-인-더-루프 프레임워크가 복잡한 언어 데이터셋을 구축하는 데 효과적임을 입증한다.

제안 방법

• 모델-인-더-루프 프레임워크는 소수의 예시를 활용한 프ompting을 통해 GPT-3를 사용해 다양한 실제 문장과 비유적 문장 쌍을 생성함으로써 수동 작업을 줄인다.
• 현장 작업자들이 실제 문장을 비웃음 형식으로 변형시키기 위해 최소한의 편집을 수행하며, 의미의 일관성을 유지한다.
• 전문가 검수자들이 GPT-3의 출력 결과를 정확성, 일관성, 언어적 품질 측면에서 검토하고 개선한다.
• 각 인스턴스에는 비유적 표현에 기반한 의미상 일치/모순 결정에 대한 자연어 설명이 포함되어 있다.
• 데이터셋은 비유적 표현을 포함한 <실제, 비유적> 문장 쌍으로 구성되며, 레이블(일치/모순)과 설명이 함께 제공되며, 비웃음, 은유, 비유, 관용구를 포함한다.
• e-SNLI와 FLUTE 데이터를 모두 사용하여 레이블 예측과 설명 생성을 동시에 수행하는 T5 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 모델-인-더-루프 프레임워크는 비유적 언어를 위한 고품질, 설명 기반 데이터셋을 효과적으로 스케일링할 수 있는가?
• RQ2 FLUTE로 미세조정하면 e-SNLI로 미세조정하는 것보다 비유적 언어 이해를 위한 설명 품질이 향상되는가?
• RQ3 FLUTE로 훈련된 모델은 기준 모델 대비 비유적 표현에 대해 더 강건하고 충실한 추론을 보이는가?
• RQ4 FLUTE로 미세조정된 모델이 생성한 설명은 일반 NLI 데이터로 훈련된 모델의 설명과 비교해 일관성과 관련성 측면에서 어떻게 다른가?

주요 결과

• FLUTE로 미세조정한 T5 모델은 자동 평가 및 인간 평가를 통해 e-SNLI로 미세조정한 동일한 모델보다 훨씬 더 높은 품질의 텍스트 설명을 생성한다.
• FLUTE는 비유적 표현에 직접 연결된 설명을 포함함으로써, 표준 NLI 벤치마크보다 모델 추론의 신뢰성 있는 평가가 가능하다.
• GPT-3와 전문가 검증을 통한 인간 참여를 조합한 모델-인-더-루프 접근 방식은 고품질의 복잡하고 다양한 비유적 언어 인스턴스를 효과적으로 스케일링하는 데 성공했다.
• 이 데이터셋은 설명 기반의 비유적 언어 데이터로 훈련된 모델가 분포 외부 및 악성 예측 예측을 더 잘 처리할 수 있음을 보여준다.
• FLUTE는 Big-bench 및 IMPLI와 같은 기존 벤치마크보다 비어 있는 의미상 일치 예시가 비유적 의미를 반영하지 않도록 보장함으로써 우월함을 입증한다.
• 인간 평가 결과, FLUTE로 미세조정된 모델이 생성한 설명은 일반 NLI 데이터로 훈련된 모델의 설명보다 더 충실하고 맥락적으로 관련성이 높다는 것이 확인되었다.