[논문 리뷰] Can Transformers Reason About Effects of Actions?

Pratyay Banerjee, Chitta Baral외 5명|arXiv (Cornell University)|2020. 12. 17.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 블록 월드, 물류, 도크워커로봇, 일반 도메인 4개 분야에서 합성 QA 데이터셋을 통해 트랜스포머가 자연어에서 행동의 영향을 추론할 수 있는지 조사한다. 논리적으로 일관된 시나리오를 생성하기 위해 응답 집합 프로그래밍(ASP)을 사용하여 트랜스포머를 행동-효과 추론 작업에 훈련시키며, 예/아니요 및 세는 질문에서 높은 성능을 기록한다. 제로샷 전이 학습을 통해 일반 도메인에서의 성능 향상이 이루어지지만, 복잡한 추론 체인에서는 성능 저하가 발생한다.

ABSTRACT

A recent work has shown that transformers are able to "reason" with facts and rules in a limited setting where the rules are natural language expressions of conjunctions of conditions implying a conclusion. Since this suggests that transformers may be used for reasoning with knowledge given in natural language, we do a rigorous evaluation of this with respect to a common form of knowledge and its corresponding reasoning -- the reasoning about effects of actions. Reasoning about action and change has been a top focus in the knowledge representation subfield of AI from the early days of AI and more recently it has been a highlight aspect in common sense question answering. We consider four action domains (Blocks World, Logistics, Dock-Worker-Robots and a Generic Domain) in natural language and create QA datasets that involve reasoning about the effects of actions in these domains. We investigate the ability of transformers to (a) learn to reason in these domains and (b) transfer that learning from the generic domains to the other domains.

연구 동기 및 목표

• 기존의 결합 규칙 추론 작업을 확장하여 트랜스포머가 자연어에서 행동의 영향을 학습하고 일반화할 수 있는지 평가하는 것.
• 일반 도메인에서 특정 행동 도메인(블록 월드, 물류, DWR)으로의 제로샷 전이 학습을 평가하여 일반화 능력을 테스트하는 것.
• 응답 집합 프로그래밍(ASP)을 사용해 형식적 행동 이론에 기반한 합성 QA 데이터셋을 생성하고, 논리적 일관성을 확보하는 것.
• 행동 실행 가능성, 플루언트, 상태 전이를 포함한 개방형 및 수치 질문을 다루는 트랜스포머 추론의 한계를 조사하는 것.
• 사슬형 사고 및 조건부 영향을 포함한 추론 복잡도에 따라 모델 성능이 어떻게 변하는지 분석하는 것.

제안 방법

• 응답 집합 프로그래밍(ASP)을 사용해 행동 효과, 실행 조건, 플루언트를 형식적 의미론으로 인코딩하여 합성 행동 도메인을 생성한다.
• 네 가지 도메인을 정의: 블록 월드, 물류, DWR(Dock-Worker-Robots), 그리고 추상 행동과 플루언트를 가진 일반 도메인.
• ASP 솔버를 사용해 행동 시퀀스를 시뮬레이션하고 결과 상태를 유도하여 예/아니요, 개방형, 수치형 답변을 포함한 QA 데이터셋을 생성한다.
• 각 도메인의 훈련 세트에서 트랜스포머 모델(BERT, RoBERTa 등)을 훈련하고, 미리 보지 않은 테스트 세트에서 평가한다.
• 제로샷 전이 학습을 적용하기 위해 일반 도메인에서 미세조정을 수행하고, 추가적인 미세조정 없이 특정 도메인에서 평가한다.
• 프레임 문제 처리, 관성, 행동 전제 조건을 ASP 규칙으로 인코딩하여 생성된 시나리오의 논리적 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 도메인 특화 데이터로 훈련된 합성 QA 데이터셋을 기반으로 트랜스포머가 자연어에서 행동의 영향을 추론할 수 있는가?
• RQ2 일반 도메인에서 특정 도메인(블록 월드, 물류, DWR)으로의 제로샷 전이 학습 성능은 어떠한가?
• RQ3 다중 조건부 영향 또는 중첩 의존성과 같은 복잡한 추론 체인을 포함한 작업에서 트랜스포머의 성능는 어떠한가?
• RQ4 예/아니요, 개방형, 수치형(세는) 질문 유형 간에 모델 능력은 어떻게 다름?
• RQ5 ASP로 생성된 기준 정답과 논리적으로 일관된 예측을 얼마나 잘 유지하는가?

주요 결과

• 블록 월드 및 물류 도메인에서 도메인 특화 데이터로 훈련한 트랜스포머는 예/아니요 질문에서 95% 이상의 정확도를 기록했다.
• DWR 및 일반 도메인에서 세는 질문(예: '몇 대의 로봇이 내려왔는가?')에 대해 모델은 90% 이상의 정확도를 달성했다.
• 일반 도메인에서 특정 도메인으로의 제로샷 전이 학습은 예/아니요 질문에서 80–85%의 정확도를 기록하여 추론 패턴의 부분적 일반화를 보였다.
• 다중 조건부 영향 또는 중첩 의존성을 포함한 복잡한 추론 체인에서는 성능이 크게 떨어져 조합적 일반화 능력의 한계를 보였다.
• 간단한 행동-효과 추론에서는 ASP로 생성된 기준 정답과 높은 일관성을 보였지만, 수열을 거쳐 다중 플루언트 변화를 추적해야 하는 추론에서는 어려움을 겪었다.
• 일반 도메인이 효과적인 사전 훈련 소스로 기능했으며, 무작위 초기화보다 더 나은 제로샷 전이 성능을 보였지만, 미세조정된 도메인 특화 모델에 비해 성능은 열등했다.