[논문 리뷰] Refactoring Policy for Compositional Generalizability using Self-Supervised Object Proposals

Tongzhou Mu, Jiayuan Gu외 3명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 2

한 줄 요약

이 논문은 자기지도 학습을 통한 물체 제안을 사용하여 고보상 교사 정책을 개선된 일반화 능력을 지닌 학생 정책으로 재구성하는 이단계 프레임워크를 제안한다. 물체 중심의 그래프 신경망(GNN)을 활용함으로써, 의미 있는 시각적 물체를 입력으로 추출함으로써 학생 정책은 네 가지 도전적인 작업에서 강력한 조합 일반화 능력을 달성하며, 기존 베이스라인을 능가한다.

ABSTRACT

We study how to learn a policy with compositional generalizability. We propose a two-stage framework, which refactorizes a high-reward teacher policy into a generalizable student policy with strong inductive bias. Particularly, we implement an object-centric GNN-based student policy, whose input objects are learned from images through self-supervised learning. Empirically, we evaluate our approach on four difficult tasks that require compositional generalizability, and achieve superior performance compared to baselines.

연구 동기 및 목표

• 다양한 작업 조합에 대해 일반화되는 정책을 학습하는 데 도전하는 데 목적을 두며.
• 구조화되고 물체 중심의 표현을 활용하여 복잡한 의사결정 과제에서의 일반화를 향상시키는 데 목적을 두며.
• 작업 특화의 감독에 의존도를 줄이기 위해 자기지도 학습을 통한 물체 제안을 입력 특징으로 사용하는 데 목적을 두며.
• 성능 유지를 유지하면서도 제로샷 일반화를 가능하게 하는 강력한 인덕티브 바이어스를 지닌 학생 정책을 설계하는 데 목적을 두며.
• 분포 이탈 상황에서 조합 추론이 요구되는 과제에 대해 프레임워크를 평가하는 데 목적을 두며.

제안 방법

• 프레임워크는 이단계 학습 프로세스를 사용한다: 첫 번째로, 교사 정책이 풍부한 시뮬레이션 예시들에 대해 학습된다.
• 두 번째로, 교사의 행동이 자기지도 학습을 통한 물체 제안에서 유도된 물체 중심 입력을 사용하는 학생 정책으로 정제된다.
• 자기지도 학습을 통한 물체 제안은 대조 학습을 사용하여 이미지에서 추출되며, 경계 상자 레이블 없이도 물체 수준의 특징을 제공한다.
• 학생 정책는 물체 특징과 그 관계를 처리하여 결정을 내리는 그래프 신경망(GNN)으로 구현된다.
• GNN 기반 학생 정책는 교사의 행동을 모방하도록 학습되며, 동시에 조합 추론을 위한 인덕티브 바이어스를 강제한다.
• 프레임워크는 물체 중심 표현을 활용하여, 새로운 작업 조합에 대한 제로샷 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 교사 정책에서 정제를 통해 학습된 학생 정책가 표준 이mitation learning보다 더 나은 조합 일반화 능력을 달성할 수 있는가?
• RQ2 자기지도 학습을 통한 물체 제안을 입력으로 사용할 경우 제로샷 환경에서 일반화 능력이 어떻게 향상되는가?
• RQ3 물체 중심의 GNN 아키텍처가 엔드 투 엔드 정책에 비해 일반화 능력을 얼마나 향상시키는가?
• RQ4 GNN 기반 학생 정책의 인덕티브 바이어스는 새로운 작업 조합에서 성능 향상에 기여하는가?
• RQ5 다양하고 복잡한 과제에서, 조합 추론이 요구되는 상황에서 프레임워크의 성능은 어떠한가?

주요 결과

• 제안된 프레임워크는 강력한 베이스라인들보다 네 가지 도전적인 과제에서 조합 일반화 능력이 요구되는 상황에서 뛰어난 성능을 달성한다.
• 자기지도 학습을 통한 물체 제안의 사용은 추가적인 감독 없이도 새로운 작업 조합으로의 일반화를 효과적으로 가능하게 한다.
• GNN 기반 학생 정책는 강력한 인덕티브 바이어스를 보이며, 제로샷 일반화 능력 향상에 기여한다.
• 이단계 정제 프로세스는 고보상 행동을 교사에서 학생으로 성공적으로 이전하면서 일반화 능력을 향상시킨다.
• 물체 검출을 위한 명시적 감독이 없는 상황에서도 프레임워크는 베이스라인 방법들을 능가한다.
• 실험 결과는 물체 중심 표현이 복잡하고 조합적인 환경에서 일반화 능력을 크게 향상시킨다는 것을 확인한다.