[논문 리뷰] ProTo: Program-Guided Transformer for Program-Guided Tasks

Zelin Zhao, Karan Samel외 2명|arXiv (Cornell University)|2021. 10. 02.

Multimodal Machine Learning Applications참고 문헌 89인용 수 15

한 줄 요약

ProTo는 시각적 추론 및 정책 학습 작업에서 통합된 실행을 위해 프로그램 의미론과 구조를 함께 모델링하기 위해 교차 attention과 마스킹된 self-attention을 활용하는 프로그램 유도형 트랜스포머를 제안한다. GQA 시각적 추론(+4.31% 정확도 향상)과 2D 마인크래프트 정책 학습에서 최신 기준 성능을 달성하며, 새로운 복잡하고 인간이 작성한 프로그램으로의 일반화 능력이 뛰어나다.

ABSTRACT

Programs, consisting of semantic and structural information, play an important role in the communication between humans and agents. Towards learning general program executors to unify perception, reasoning, and decision making, we formulate program-guided tasks which require learning to execute a given program on the observed task specification. Furthermore, we propose the Program-guided Transformer (ProTo), which integrates both semantic and structural guidance of a program by leveraging cross-attention and masked self-attention to pass messages between the specification and routines in the program. ProTo executes a program in a learned latent space and enjoys stronger representation ability than previous neural-symbolic approaches. We demonstrate that ProTo significantly outperforms the previous state-of-the-art methods on GQA visual reasoning and 2D Minecraft policy learning datasets. Additionally, ProTo demonstrates better generalization to unseen, complex, and human-written programs.

연구 동기 및 목표

• 프로그램 유도 작업을 위한 일반적인 프로그램 실행자 학습을 통해 시각적 인식, 추론, 의사결정을 통합한다.
• 확장성과 일반화 능력에 장애가 되는 일시적이고 작업 전용 프로그램 실행자에 기인한 한계를 해결한다.
• 프로그램 의미론과 구조적 제어 흐름을 동시에 인코딩하는 신경 기반 기호 모델을 개발하여 추론 및 실행 능력을 향상시킨다.
• 다양한 프로그램 유도 작업, 특히 시각적 추론 및 정책 학습에 대해, 밀도 높은 지도 학습과 희박한 보상 설정 모두에서 모델을 평가한다.

제안 방법

• ProTo는 작업 명세(예: 이미지 또는 환경 상태)를 프로그램 루틴과 정렬하기 위해 교차 attention을 사용하여 의미론적 기반을 확립한다.
• 제어 흐름을 유지하고 루프 및 조건문을 통해 구조적 추론을 가능하게 하기 위해 프로그램 구조에 대해 마스킹된 self-attention을 적용한다.
• 모델은 학습된 잠재 공간에서 프로그램을 실행하여 이전의 신경 기반 기호 모델보다 richer한 표현 학습을 가능하게 한다.
• 밀도 높은 실행 지도 학습과 희박한 보상 기반 학습을 모두 지원하여 복잡한 환경에서의 일반화를 가능하게 한다.
• attention 메커니즘이 의미론적 및 구조적 프로그램 구성 요소를 명시적으로 모델링하도록, 아키텍처는 프로그램 유도 작업에서 엔드 투 엔드로 훈련된다.
• 모델은 GQA(시각적 추론) 및 2D 마인크래프트(정책 학습)에서 평가되며, 프로그램 주석이 달린 데이터셋과 도메인 전용 언어(DSL)를 사용한다.

실험 결과

연구 질문

• RQ1 통합된 신경 모델이 시각적 인식, 추론, 의사결정 작업 전반에서 다양한 프로그램을 효과적으로 실행하는 데 성공할 수 있는가?
• RQ2 프로그램의 구조와 의미론을 명시적으로 모델링하면, 새로운 복잡하거나 인간이 작성한 프로그램으로의 일반화 능력이 어떻게 향상되는가?
• RQ3 구조적 attention을 갖춘 트랜스포머 기반 접근 방식이, 일반적인 트랜스포머와 기호 기반 계획기보다 프로그램 유도 작업에서 더 우수한 성능을 내는가?
• RQ4 ProTo는 명시적 지도 없이도 새로운 프로그램 루틴으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ5 희박한 보상 신호가 존재하는 환경에서 ProTo는 긴 복잡한 프로그램으로 확장 가능한가?

주요 결과

• ProTo는 공개된 GQA 테스트 서버에서 이전 최신 기준 성능 방법보다 4.31% 정확도 향상을 달성했다.
• 모델은 인간이 작성한 프로그램으로도 효과적으로 일반화되며, 합성 또는 프로그램 생성된 입력을 넘어서 강건성을 입증했다.
• 특히 긴 복잡한 프로그램에서, 명시적인 구조적 지시가 없는 일반적인 트랜스포머보다 ProTo가 뚜렷이 뛰어난 성능을 보였다.
• 모델은 복합 능력을 일반화하며, 예를 들어 Is_there(gold)와 Mine(Silver)와 유사한 루틴을 관찰한 후 새로운 루틴인 Mine(Gold)를 유추할 수 있었다.
• ProTo는 확장성, 원시 이미지 입력에 대한 적응 능력, 그리고 새로운 프로그램 구성 요소 처리 능력 면에서 하드코딩된 기호 기반 계획기보다 뛰어난 성능을 보였다.
• 희박한 보상 학습 조건에서도 강력한 성능을 달성하여, 밀도 높은 지도 없이도 마인크래프트에서 다리 건설과 같은 복잡한 행동을 학습할 수 있었다.