[논문 리뷰] Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning

Lianhui Qin, Vered Shwartz외 6명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 52인용 수 17

한 줄 요약

이 논문은 DeLorean을 소개한다. DeLorean은 경사 기반의 은닉 표현 개선을 통해 앞으로와 뒤로의 문맥을 모두 통합할 수 있도록 하는 비지도 학습 디코딩 알고리즘이다. 이 알고리즘은 경사 기반의 반복적 정렬을 통해 왼쪽에서 오른쪽, 오른쪽에서 왼쪽으로의 순차적 통과를 반복함으로써 비단조화적 추론 작업(예: 추론적 추론 및 반사적 추론)에 적합한 언어 모델을 가능하게 한다. 이는 피드백 없는 미세조정 없이도 추론적 텍스트 생성 및 반사적 스토리 재작성에서 최고 성능을 기록하며, 현재의 최고 수준의 성능을 달성한다.

ABSTRACT

Abductive and counterfactual reasoning, core abilities of everyday human cognition, require reasoning about what might have happened at time t, while conditioning on multiple contexts from the relative past and future. However, simultaneous incorporation of past and future contexts using generative language models (LMs) can be challenging, as they are trained either to condition only on the past context or to perform narrowly scoped text-infilling. In this paper, we propose DeLorean, a new unsupervised decoding algorithm that can flexibly incorporate both the past and future contexts using only off-the-shelf, left-to-right language models and no supervision. The key intuition of our algorithm is incorporating the future through back-propagation, during which, we only update the internal representation of the output while fixing the model parameters. By alternating between forward and backward propagation, DeLorean can decode the output representation that reflects both the left and right contexts. We demonstrate that our approach is general and applicable to two nonmonotonic reasoning tasks: abductive text generation and counterfactual story revision, where DeLorean outperforms a range of unsupervised and some supervised methods, based on automatic and human evaluation.

연구 동기 및 목표

• 비단조화적 추론 작업(예: 추론적 추론 및 반사적 추론)에서 과거와 미래의 문맥을 모두 고려한 언어 모델 조건화 문제를 해결하기 위해.
• 미세조정이나 추가적인 감독 없이도 시장에서 구할 수 있는 왼쪽에서 오른쪽 방향 언어 모델만을 활용하는 비지도 디코딩 방법을 개발하기 위해.
• 특히 인과적 일관성과 최소한의 수정이 필수적인 서사 추론에서 왼쪽과 오른쪽의 문맥 제약 조건을 모두 만족하는 일관된 텍스트 생성을 가능하게 하기 위해.
• 좁은 텍스트 삽입, 미세조정 또는 감독 기반 속성 식별기 의존에 기반한 기존 방법의 한계를 극복하기 위해.

제안 방법

• DeLorean은 출력 시퀀스의 은닉 표현을 개선하기 위해 앞으로의 통과(왼쪽에서 오른쪽)와 뒤로의 통과(오른쪽에서 왼쪽)를 번갈아 수행한다.
• 뒤로의 통과 중에는 과거 문맥에서의 기울기가 임의의 과제에 특화된 손실 함수를 통해 미래 문맥으로 역전파되며, 모델의 가중치는 고정된 채로 출력 표현만 업데이트된다.
• 앞으로의 통과에서는 과거 문맥 조건 하에 가능도를 최대화하며, P(Y|X)를 근사한다. 반대로 뒤로의 통과에서는 미래 문맥과의 일관성을 강제하여 P(Z|XY)를 근사한다.
• 앞으로의 통과와 뒤로의 통과에서 생성된 은닉 상태는 하나의 문맥 벡터로 통합되며, 이로부터 디코딩 과정에서 토큰을 샘플링한다.
• 이 방법은 모든 미세조정이나 추가 학습 없이 사전에 훈련된 언어 모델 프레임워크 내에서만 작동한다.
• 이 방법은 일반적이며, 왼쪽과 오른쪽의 문맥을 통합이 필요한 모든 조건부 생성 작업에 적용 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 미세조정 없이도 비지도 디코딩 방법이 언어 모델 생성 과정에서 과거와 미래의 문맥을 효과적으로 통합할 수 있는가?
• RQ2 백프로파게이션 기반의 개선 메커니즘이 추론적 및 반사적 추론 작업에서 일관성을 얼마나 향상시킬 수 있는가?
• RQ3 오직 왼쪽에서 오른쪽 방향 언어 모델만을 사용하는 방법이 비단조화적 추론 작업에서 감독 기반 기준 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 교차하는 앞으로-뒤로 통과 메커니즘이 반사적 스토리 재작성 과정에서 사실 일관성과 최소한의 수정 행동을 얼마나 향상시키는가?

주요 결과

• 자동 평가 및 인간 평가 결과, DeLorean은 추론적 텍스트 생성 및 반사적 스토리 재작성 과제에서 다양한 비지도 및 일부 감독 기반 기준 모델을 능가한다.
• 반사적 스토리 재작성에 사용된 TimeTravel 데이터셋에서, DeLorean은 조건이 '백화점에 갔다'에서 '온라인으로 셔츠를 주문했다'로 바뀔 때도 '그녀는 그것을 입는 것에 대해 기대했다'와 같은 일관성 있는 요소를 최소한의 수정으로 유지하며 스토리 끝을 성공적으로 재작성한다.
• 추론적 추론 과제에서 DeLorean은 '그녀가 스윙에 다쳤다'와 같은 관찰된 과거 상태와 미래 상태를 연결하는 타당한 중간 사건을 생성함으로써 강력한 인과 추론 능력을 보여준다.
• 이 방법은 어떤 미세조정이나 감독 없이도 사전 훈련된 왼쪽에서 오른쪽 방향 언어 모델만을 사용하여 최고 성능을 달성한다.
• 인간 평가 결과, 특히 반사적 조건 하에서 서사 일관성을 유지하는 데 있어 DeLorean의 출력 결과가 강력한 비지도 기준 모델보다 더 일관성 있고 타당성이 높다는 것이 확인되었다.