[논문 리뷰] Reasoning about Actions and State Changes by Injecting Commonsense Knowledge

Niket Tandon, Bhavana Dalvi Mishra외 4명|arXiv (Cornell University)|2018. 08. 29.

Topic Modeling참고 문헌 21인용 수 10

한 줄 요약

이 논문은 ProStruct를 제안하며, 하드 제약 조건(예: 요소는 두 번 이상 파괴될 수 없다)과 소프트 제약 조건(예: 터빈 이동과 같은 희귀 사건은 벌점이 부과된다)을 통해 공공지식을 주입함으로써 절차적 텍스트에서 행동과 상태 변화에 대한 추론을 향상시키는 신경 구조적 예측 모델을 개발한다. 이 모델은 전역적으로 일관되지 않은 예측을 줄임으로써 이전 시스템보다 뛰어나게 성능을 향상시키며, ProPara 벤치마크에서 상대적 8% 향상을 달성하면서 비합리적인 출력을 방지한다.

ABSTRACT

Comprehending procedural text, e.g., a paragraph describing photosynthesis, requires modeling actions and the state changes they produce, so that questions about entities at different timepoints can be answered. Although several recent systems have shown impressive progress in this task, their predictions can be globally inconsistent or highly improbable. In this paper, we show how the predicted effects of actions in the context of a paragraph can be improved in two ways: (1) by incorporating global, commonsense constraints (e.g., a non-existent entity cannot be destroyed), and (2) by biasing reading with preferences from large-scale corpora (e.g., trees rarely move). Unlike earlier methods, we treat the problem as a neural structured prediction task, allowing hard and soft constraints to steer the model away from unlikely predictions. We show that the new model significantly outperforms earlier systems on a benchmark dataset for procedural text comprehension (+8% relative gain), and that it also avoids some of the nonsensical predictions that earlier systems make.

연구 동기 및 목표

• 절차적 텍스트에서 상태 변화에 대한 신경 모델 예측의 전역적 불일치와 비합리성을 해결하기 위해.
• 예측 과정 중 외부 공공지식을 통합하여 행동과 그 영향에 대한 추론을 향상시키기 위해.
• 절차적 텍스트 이해를 제약 조건이 있는 구조적 예측 작업으로 재정의하여 더 타당한 상태 전이를 얻기 위해.
• 자기 자신으로부터 이동하거나 터빈이 이동하는 것과 같은 비합리적인 예측을 세계 논리적 제약 조건을 적용하여 줄이기 위해.
• 배경 지식(BK)과 제약 조건이 모델 성능과 강건성에 미치는 영향을 평가하기 위해.

제안 방법

• 모델이 시간대별 상태 변화의 시퀀스를 예측하는 신경 구조적 예측 작업으로 절차적 텍스트 이해를 다룬다.
• 다양이 가능한 제약 조건을 사용한 비트 서치를 통해 전역적으로 일관되고 타당한 행동 시퀀스로의 탐색을 이끌어낸다.
• 해당 디코딩 과정에서 하드 제약 조건(예: 요소는 한 번 이상 파괴될 수 없다)을 다양한 가능한 벌점으로 통합한다.
• 대규모 코퍼스에서 유래한 소프트 제약 조건(예: '터빈은 드물게 이동한다')을 적용하여 예측이 타당한 상태 전이 쪽으로 편향되도록 한다.
• 검색을 통해 외부 배경 지식(BK)을 통합하여 타당한 상태 전이를 안내한다. 예를 들어 '퇴적물이 분해된다'는 표현은 침전물 파괴를 암시할 수 있다.
• 제약 조건이 포함된 탐색 경로를 통해 역전파되는 기울기를 사용해 모델을 종합적으로 훈련함으로써 예측과 제약 조건을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 공공지식을 주입함으로써 신경 모델의 절차적 텍스트 이해에서의 전역적 일관성을 향상시킬 수 있는가?
• RQ2 하드 제약 조건(예: 논리적으로 불가능한 일들)과 소프트 제약 조건(예: 코퍼스 기반 선호도)은 예측 품질과 타당성에 어떤 영향을 미치는가?
• RQ3 제약 조건이 자동으로 이동하거나 비현실적인 요소 파괴와 같은 비합리적인 예측을 어느 정도 줄이는가?
• RQ4 어휘 불일치가 발생할 경우 배경 지식 검색이 모델 성능에 어떤 영향을 미치는가?
• RQ5 제약 조건 인식 디코딩을 갖춘 구조적 예측이 절차적 추론 작업에서 표준 신경 시퀀스 모델보다 우월한가?

주요 결과

• 제안된 모델 ProStruct는 절차적 텍스트 이해를 위한 ProPara 벤치마크에서 이전 최고 성능 시스템보다 상대적으로 8% 향상된 성능을 달성한다.
• 하드 제약 조건은 전역적으로 일관되지 않은 예측(예: 이미 존재하는 전기를 다시 생성하는 것)을 성공적으로 방지한다.
• 코퍼스에서 유도된 소프트 제약 조건은 터빈의 위치 변화와 같은 비합리적인 예측을 줄이며, 모델이 타당한 상태 전이 쪽으로 편향되도록 한다.
• 배경 지식 검색은 예측 커버리지와 정확도를 향상시키지만, 어휘 불일치가 발생할 경우 실패한다(예: '퇴적물' vs. '침전물').
• 오류 분석 결과, 암시적 참조, 공호성, 대명사 해석은 여전히 도전 과제로 남아 있으며, 특히 요소가 명시적으로 언급되지 않을 경우 더욱 심각하다.
• 제거 실험 결과 하드 제약 조건과 소프트 제약 조건 모두 성능 향상에 기여하며, 특히 비합리적인 출력을 방지하는 데 핵심적인 역할을 한다.