[논문 리뷰] EIGEN: Event Influence GENeration using Pre-trained Language Models

Aman Madaan, Dheeraj Rajagopal외 4명|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 38인용 수 14

한 줄 요약

이 논문은 주어진 사건, 관계 유형(e.g., helps, hurts) 및 추론 힙 거리 조건 하에 문맥에 기반한 전방 및 후방 이벤트 영향을 생성하기 위해 미세튜닝된 사전 훈련된 언어 모델을 활용하는 EIGEN이라는 프레임워크를 소개한다. EIGEN은 WIQA 벤치마크에서 다운스트림 질문-답변 성능을 3% F1 향상시켜 복잡한 다단계 및 지식 집약적인 질문에서 특히 뛰어난 성능을 보인다.

ABSTRACT

Reasoning about events and tracking their influences is fundamental to understanding processes. In this paper, we present EIGEN - a method to leverage pre-trained language models to generate event influences conditioned on a context, nature of their influence, and the distance in a reasoning chain. We also derive a new dataset for research and evaluation of methods for event influence generation. EIGEN outperforms strong baselines both in terms of automated evaluation metrics (by 10 ROUGE points) and human judgments on closeness to reference and relevance of generations. Furthermore, we show that the event influences generated by EIGEN improve the performance on a "what-if" Question Answering (WIQA) benchmark (over 3% F1), especially for questions that require background knowledge and multi-hop reasoning.

연구 동기 및 목표

• 절차적 텍스트에서 명시적으로 기재되지 않았지만 추론에 필수적인 암묵적 이벤트 영향을 생성하는 데 도전하는 데 목적을 둔다.
• 문맥, 관계 유형(e.g., helps, hurts), 추론 힙 거리 조건에 따라 이벤트 영향을 생성하는 방법을 개발하는 데 목적을 둔다.
• 연구 및 평가를 지원하기 위해 대규모 인간 레이블링 데이터셋을 구축하는 데 목적을 둔다.
• 생성된 영향이 아키텍처 변경 없이도 다운스트림 추론 작업(예: 질문-답변) 성능 향상에 기여하는지 평가하는 데 목적을 둔다.
• 사전 훈련된 언어 모델이 추출적 추론을 넘어서 지식 기반의 타겟된 영향 생성에 효과적으로 미세튜닝될 수 있음을 입증하는 데 목적을 둔다.

제안 방법

• EIGEN은 마스크된 언어 모델링을 사용하여 사전 훈련된 언어 모델(BERT)을 미세튜닝하여 입력 문맥, 사건, 관계 유형 및 힙 거리 조건에 따라 이벤트 영향을 생성한다.
• 프레임워크는 사건을 노드로, 관계 유형(e.g., helps, hurts, helped by, hurt by)과 힙 수(1-hop, 2-hop)를 간선으로 하는 영향 그래프를 구성한다.
• 입력 시퀀스는 [문맥] + [대상 사건] + [영향을 받을 사건] 형식으로 구성되며, BERT의 [CLS] 토큰을 사용해 문맥적 표현을 추출한다.
• 생성된 영향은 평탄화된 리스트로 결합되고 재인코딩되어 증강된 표현을 계산하며, 이는 원본 문맥과 함께 공동 학습을 가능하게 한다.
• 손실 함수는 원본 및 증강된 입력의 교차 엔트로피 손실을 조합한다: $\mathcal{L} = \alpha \cdot \mathcal{L}_i + \beta \cdot \mathcal{L}_a$, $\alpha=1$, $\beta=0.9$.
• 모델 평가는 자동 평가 지표(ROUGE)와 인간 평가(관련성 및 기준 텍스트와의 유사성)를 통해 수행되며, WIQA 질문-답변 벤치마크에서 검증된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 입력에 명시적으로 언급되지 않은 새로운, 문맥에 기반한 이벤트 영향을 효과적으로 생성할 수 있는가?
• RQ2 자동 평가 및 인간 평가 지표에서 EIGEN의 생성된 이벤트 영향 품질이 강력한 베이스라인과 비교해 어떻게 되는가?
• RQ3 생성된 이벤트 영향이 다단계 또는 암묵적 지식이 필요한 다운스트림 추론 작업 성능에 얼마나 기여하는가?
• RQ4 생성된 영향의 포함 여부가 배경 지식이 필요한 외생 질문과 같은 어려운 질문 유형에서 성능 향상에 기여하는가?
• RQ5 특히 더 긴 체인(예: 3-hop)에서 추론 힙 거리에 따라 모델 성능가 어떻게 변화하는가?

주요 결과

• 자동 평가에서 EIGEN은 강력한 베이스라인보다 약 10 ROUGE 포인트 높은 성능을 기록하여 우수한 생성 품질을 입증한다.
• 인간 평가 결과, EIGEN이 생성한 영향은 베이스라인 대비 관련성과 기준 텍스트와의 유사성에서 유의미하게 높은 수준을 보였다.
• WIQA 질문-답변 데이터셋에 증강된 결과, EIGEN은 기존 BERT 모델 대비 전체 F1 점수를 3% 향상시켰다.
• 성능 향상은 3-hop 질문에서 가장 두드러지게 나타났으며, 이 경우 EIGEN은 기준 모델 대비 F1 점수를 8% 이상 향상시켜 장거리 추론 지원 능력을 효과적으로 입증했다.
• 외생 질문(배경 지식이 필요한 질문)에서는 3%의 절대적 성능 향상을 기록하여 암묵적 추론 연결을 공급할 수 있음을 입증했다.
• 모델의 성능 향상은 다양한 관계 유형과 추론 거리에서 일관되게 유지되어 다양한 추론 체인에 대한 일반화 능력을 검증했다.