[논문 리뷰] Programmable Agents

Misha Denil, Sergio Gómez Colmenarejo외 3명|arXiv (Cornell University)|2017. 06. 20.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 환경의 특성에 기반해 기호를 지문화하는 엔드 투 엔드 훈련을 통해 형식 언어로 표현된 선언적 프로그램을 실행하는 프로그래머블 에이전트를 소개한다. 이 에이전트는 기존의 알려진 및 알려지지 않은 물체 특성의 새로운 조합으로 near-perfect zero-shot 일반화를 달성하며, 새로운 형태, 색상, 혼란 물체를 포함한 작업에서 표준 아키텍처를 능가한다.

ABSTRACT

We build deep RL agents that execute declarative programs expressed in formal language. The agents learn to ground the terms in this language in their environment, and can generalize their behavior at test time to execute new programs that refer to objects that were not referenced during training. The agents develop disentangled interpretable representations that allow them to generalize to a wide variety of zero-shot semantic tasks.

연구 동기 및 목표

• 환경 관찰에 기반한 형식 언어로 표현된 선언적 프로그램을 실행할 수 있는 에이전트를 개발하는 것.
• 훈련 중에 볼 수 없었던 새로운 물체 특성과 조합에 대해 zero-shot 일반화를 가능하게 하는 것.
• 작업 분포 간 전환 시 치명적인 잊음 방지를 위한 내성적 저항성 확보.
• 활성화 맵을 통해 프로그램 용어에 명시적으로 대응하는 해석 가능하고 분리된 표현을 만드는 것.
• 보조 감독이나 제어 작업 없이 오직 환경 기반 보상만을 사용해 엔드 투 엔드로 에이전트를 훈련하는 것.

제안 방법

• 에이전트는 물체 특성의 분리된, 조합 가능한 표현을 장려하기 위해 구조화된 블로킹을 강제하는 새로운 '프로그래머블 네트워크' 아키텍처를 사용한다.
• 각 프로그램은 환경 내 고정된 물체 특성 집합(예: 색상, 모양)에 대응하는 가중치를 갖는, 기능적으로 다른 프로그램 전용 아키텍처를 통해 실행된다.
• 에이전트는 CNN 기반 특징 추출기를 통해 환경을 관찰하고, 프로그램 용어가 물체에 어떻게 대응되는지를 명시적으로 표현하는 활성화 맵을 생성한다.
• 진실된 상태 정보를 기반으로 프로그램 만족도를 검증하는 검증기로부터의 보상 신호를 사용해 엔드 투 엔드로 강화학습을 적용한다.
• 시스템은 관찰에 기반해 행동하는 탐색 절차(에이전트)를 사용하여 환경를 프로그램을 만족시키도록 수정한다.
• 독립된 특성들(예: 색상과 모양)을 구분하고 조합할 수 있도록 학습함으로써 일반화가 가능해지며, 이는 배제(예: '빨간색이 아닌 것')나 새로운 조합에 대한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 감독 없이 물체 특성 할당에 대한 지시 없이도 딥 강화학습 에이전트가 시각 환경에서 선언적 프로그램 용어를 지문화할 수 있는가?
• RQ2 에이전트는 훈련 중에 볼 수 없었던 알려진 및 알려지지 않은 물체 특성의 새로운 조합을 포함한 zero-shot 작업으로 얼마나 잘 일반화할 수 있는가?
• RQ3 새로운, 볼 수 없었던 작업에 대해 미세조정을 거친 후 원래 작업에서 성능이 유지되는가? 치명적인 잊음 방지를 피할 수 있는가?
• RQ4 해석 가능하고 분리된 표현이 원시 관찰과 프로그램 실행에서 엔드 투 엔드로 도출될 수 있는가?
• RQ5 선언적 프로그래밍 패러다임의 사용이, 지시형 또는 기능형 프로그램 실행 대비 강화학습에서 더 강력한 조합적이고 일반화 가능한 행동을 가능하게 하는가?

주요 결과

• 프로그래머블 에이전트는 3D 디자인 환경에서 모든 일반화 조건에서 near-perfect zero-shot 성능을 달성했으며, 새로운 형태, 새로운 색상, 둘 다 새로운 조합을 포함한 작업에서도 성공했다.
• 반면, 표준 딥 강화학습 아키텍처는 동일한 3x3 환경에서 완전히 실패했으며, 무작위 기준선 수준 이하의 성능을 보였다.
• 에이전트는 블록 수가 다를 경우(최대 10개)에도 성공적으로 일반화했으며, 새로운 특성을 가진 혼란 물체를 무시했다.
• 에이전트는 치명적인 잊음에 대한 강건성을 보였으며, 새로운 작업에 대해 250만 번의 미세조정 스텝 이후에도 원래 작업에서의 성능이 안정적으로 유지되었다.
• 활성화 맵의 시각화 결과, 에이전트가 프로그램 용어와 물체 특성 간에 명시적이고 해석 가능한 맵핑을 학습했다는 것이 확인되었다.
• 에이전트는 훈련 중에 볼 수 없었던 참조(예: '빨간색이 아닌 물체')를 포함한 배제를 통한 새로운 특성의 일반화도 가능하게 했다.