[논문 리뷰] Coalescing Global and Local Information for Procedural Text Understanding

Kaixin Ma, Filip Ilievski외 3명|arXiv (Cornell University)|2022. 08. 26.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 구조적 예측을 통한 동시 엔티티 상태 모델링과 함께 국소적(엔티티 및 타임스텝 인식) 및 전반적(문서 전체) 입력 표현을 통합하는 새로운 모델인 CGLI를 제안한다. CGLI는 국소적 및 전역적 추론을 융합하여 ProPara 및 TRIP 벤치마크에서 정밀도와 재현율을 동시에 최적화함으로써 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Procedural text understanding is a challenging language reasoning task that requires models to track entity states across the development of a narrative. A complete procedural understanding solution should combine three core aspects: local and global views of the inputs, and global view of outputs. Prior methods considered a subset of these aspects, resulting in either low precision or low recall. In this paper, we propose Coalescing Global and Local Information (CGLI), a new model that builds entity- and timestep-aware input representations (local input) considering the whole context (global input), and we jointly model the entity states with a structured prediction objective (global output). Thus, CGLI simultaneously optimizes for both precision and recall. We extend CGLI with additional output layers and integrate it into a story reasoning framework. Extensive experiments on a popular procedural text understanding dataset show that our model achieves state-of-the-art results; experiments on a story reasoning benchmark show the positive impact of our model on downstream reasoning.

연구 동기 및 목표

• 절차적 이해의 일부 요소에만 집중하여 정밀도 또는 재현율 중 하나만 최적화하는 기존 모델의 한계를 해결하기 위해.
• 엔티티 상태 추적과 전반적 내러티브 일관성을 통합하여 절차적 추론과 스토리 이해 간 격차를 해소하기 위해.
• 엔티티 중심의 타임스텝 특정 입력 표현과 전역적으로 일관된 출력 모델링을 결합하는 통합 프레임워크를 개발하기 위해.
• 내러티브 단계 전반에서 엔티티의 전제 조건 및 영향 상태를 캡처하여 설명 가능한 스토리 이해를 가능하게 하기 위해.
• 기본 데이터셋에서의 광범위한 평가를 통해 CGLI가 최종 스토리 추론 작업에서 효과적임을 입증하기 위해.

제안 방법

• 각 문장을 고유한 타임스텝 ID로 인코딩하여 엔티티 및 타임스텝 인식 입력 표현을 구성함으로써, 각 엔티티와 단계에 대해 국소적 맥락 모델링을 가능하게 한다.
• 엔티티 영향 상태의 위치 언급을 식별하기 위해 스팬 추출 레이어를 통합하여 정밀한 스팬 수준 예측을 제공한다.
• 모든 엔티티와 단계를 통해 동작의 공동 시퀀스를 모델링하기 위해 CRF 레이어를 활용하여 출력 예측의 전역 일관성을 강제한다.
• 스패닝 추출 레이어와 CRF 레이어의 출력을 결합하여 전제 조건 및 영향 상태에 대한 최종 예측을 생성한다.
• 추가 출력 헤드를 통합하여 CGLI를 스토리 추론 프레임워크에 확장함으로써 비교적 스토리 이해를 지원한다.
• 맥락 인코딩을 위한 배경으로 사전 학습된 언어 모델(예: BERT)을 활용하며, 타임스텝 전용 위치 임베딩으로 보완한다.

실험 결과

연구 질문

• RQ1 국소적 및 전역적 입력 및 출력 시각을 통합함으로써, 절차적 텍스트 이해에서 정밀도와 재현율을 동시에 최적화할 수 있는가?
• RQ2 엔티티 및 타임스텝 특정 입력 표현을 전역적 출력 모델링과 융합함으로써 내러티브 단계 전반에 걸친 추론 일관성이 어떻게 향상되는가?
• RQ3 CGLI는 ProPara 및 TRIP와 같은 절차적 이해 벤치마크에서 기존 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 CGLI는 스토리 추론 프레임워크에 효과적으로 통합되어 모순 문장을 식별하고 스토리의 타당성을 평가하는 데 기여하는가?
• RQ5 스패닝 추출, CRF, 타임스텝 인코딩과 같은 개별 구성 요소가 모델의 총합 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• CGLI는 ProPara 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 단계별 엔티티 상태를 공동으로 모델링함으로써 기존 방법보다 정밀도와 재현율 양면에서 뛰어난 성능을 보였다.
• TRIP 벤치마크에서 CGLI는 스토리 이해 성능을 크게 향상시켰으며, 타당성이 없는 스토리에서 모순 문장을 정확히 식별하는 데 기여했다.
• 절단 분석 결과 국소적 입력 표현(엔티티 및 타임스텝 인식)과 전역적 출력 모델링(구조적 예측)이 최적 성능을 내기 위해 필수적임을 확인했다.
• CGLI를 스토리 추론 프레임워크에 통합함으로써 내러티브 전반에 걸쳐 엔티티의 전제 조건 및 영향 상태를 캡처함으로써 설명 가능한 추론이 가능해졌다.
• 모델는 다양한 평가 설정과 최종 작업에서 일관된 향상과 강건성 및 일반화 능력을 보였다.
• 위치 예측을 위한 스패닝 추출과 CRF 기반 공동 동작 모델링의 사용이 상태 전이 예측 정확도를 크게 향상시켰다.