[논문 리뷰] Procedural Reading Comprehension with Attribute-Aware Context Flow

Aida Amini, Antoine Bosselut외 3명|arXiv (Cornell University)|2020. 03. 31.

Topic Modeling참고 문헌 19인용 수 8

한 줄 요약

이 논문은 프로시저 리딩 컴prehension를 위한 엔드 투 엔드 신경망 모델인 Dynapro를 제안한다. 이 모델은 사전 훈련된 언어 모델에서 유도된 속성 인식 및 맥락 인식 표현을 사용하여 엔티티 속성과 그 상태 전이를 동시에 예측한다. LSTM 기반의 맥락 흐름을 통해 프로시저 텍스트를 엔티티 속성에 대한 동적 전이로 모델링함으로써, ProPara 및 npn-Cooking 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Procedural texts often describe processes (e.g., photosynthesis and cooking) that happen over entities (e.g., light, food). In this paper, we introduce an algorithm for procedural reading comprehension by translating the text into a general formalism that represents processes as a sequence of transitions over entity attributes (e.g., location, temperature). Leveraging pre-trained language models, our model obtains entity-aware and attribute-aware representations of the text by joint prediction of entity attributes and their transitions. Our model dynamically obtains contextual encodings of the procedural text exploiting information that is encoded about previous and current states to predict the transition of a certain attribute which can be identified as a span of text or from a pre-defined set of classes. Moreover, our model achieves state of the art results on two procedural reading comprehension datasets, namely ProPara and npn-cooking

연구 동기 및 목표

• 과학적 과정이나 요리 조리법과 같은 프로시저 텍스트에서 엔티티 속성이 시간에 따라 어떻게 변화하는지 이해하는 데 도전하는 것.
• 프로시저 텍스트를 엔티티 속성 전이의 시퀀스로 표현하는 일반적인 형식론을 개발하는 것.
• 맥락 인코딩을 사용하여 엔티티 속성(스팬 또는 사전 정의된 클래스로)과 그 상태 전이를 동시에 예측함으로써 프로시저 리딩 컴prehension을 향상시키는 것.
• 시간적 동역학을 포착하는 엔티티 인식 및 속성 인식 표현을 얻기 위해 사전 훈련된 언어 모델을 활용하는 것.
• 과학적 및 요리 분야의 다양한 프로시저 리딩 컴prehension 작업에서 최신 기술 수준의 성능를 달성하는 것.

제안 방법

• 모델은 프로시저 텍스트를 엔티티, 그들의 속성, 그리고 시간에 따른 전이를 나타내는 형식론으로 변환한다.
• 각 타임스텝에 대해 사전 훈련된 언어 모델을 사용하여 이전 및 현재 상태의 정보를 통합한 맥락 표현을 생성한다.
• 멀티헤드 예측 헤드를 사용하여 엔티티 속성(텍스트 스파니 또는 사전 정의된 클래스로)과 그 전이를 동시에 예측한다.
• LSTM 기반의 전이 모듈을 통해 맥락의 흐름을 시간에 따라 모델링함으로써 상태 전이의 동적 인코딩을 가능하게 한다.
• 스팬 예측과 클래스 예측을 조합하여 속성 인식 표현을 구성함으로써 맥락 모델링을 향상시킨다.
• 엔티티 스팬, 속성 클래스, 전이 동작에 대한 통합 목표 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 도메인에 걸쳐 프로시저 텍스트를 엔티티 속성 전이의 시퀀스로 나타내는 통합 형식론이 가능한가?
• RQ2 엔티티 속성과 그 전이를 동시에 예측함으로써 프로시저 리딩 컴prehension이 어떻게 향상되는가?
• RQ3 속성 인식 및 맥락 인식 표현은 프로시저 추론 작업 성능 향상에 얼마나 기여하는가?
• RQ4 LSTM을 사용해 시간적 맥락 흐름을 모델링하는 것이 정적 인코딩에 비해 전이 예측 성능을 향상시키는가?
• RQ5 과학적 과정과 요리 조리법과 같은 다양한 도메인 간에 아키텍처 변경 없이 일반화가 가능한가?

주요 결과

• Dynapro는 ProPara 문서 수준 작업에서 테스트 F1 스코어 71.9를 기록하여 새로운 최신 기술 수준을 수립했다.
• 아블레이션 연구 결과, 속성 인식 표현을 제거하면 성능이 69.5 F1로 감소하여 이들이 핵심적인 역할을 한다는 것을 확인했다.
• 전이와 속성의 동시 예측이 필수적임을 보여주었으며, 전이 예측을 제거하면 F1이 66.3으로 떨어졌다.
• 전체 문서가 아닌 현재 타임스텝의 맥락으로 입력을 자르는 것이 일반화 성능을 향상시켰으며, 전체 입력을 사용할 경우 성능은 61.0 F1로 감소했다.
• [CLS] 토큰을 사용할 경우 속성 인식 표현을 사용할 때보다 성능이 크게 떨어지며(70.9 F1), 이는 세밀한 속성 감시의 가치를 확인한다.
• 오류 분석 결과, 불일치하는 전이(예: 생성, 파괴, 이동)는 예측의 1–2%에서 발생하며 주로 외부 지식 부족이나 스팬 정렬 오류로 인해 발생한다.