[논문 리뷰] Learning Invariances for Policy Generalization

Rémi Tachet, Philip Bachman외 1명|arXiv (Cornell University)|2018. 09. 07.

Reinforcement Learning in Robotics참고 문헌 17인용 수 3

한 줄 요약

이 논문은 단순한 점프 작업에서 이동 불변성과 같은 불변성의 학습을 통해 강화학습에서 정책 일반화를 향상시키는 방법을 조사한다. 데이터 증강이 효과적으로 불변성을 유도함으로써 1,265개의 미사용 장애물 위치에서 99.8%의 일반화 성능을 달성하는 것을 발견했으며, 메타학습과 적대적 훈련은 이론적으로 유리한 점이 있음에도 불구하고 기준 성능을 뛰어넘지 못했다.

ABSTRACT

While recent progress has spawned very powerful machine learning systems, those agents remain extremely specialized and fail to transfer the knowledge they gain to similar yet unseen tasks. In this paper, we study a simple reinforcement learning problem and focus on learning policies that encode the proper invariances for generalization to different settings. We evaluate three potential methods for policy generalization: data augmentation, meta-learning and adversarial training. We find our data augmentation method to be effective, and study the potential of meta-learning and adversarial learning as alternative task-agnostic approaches.

연구 동기 및 목표

• 제한된 작업에서 훈련된 에이전트가 새로운 변형에 일반화하지 못하는 강화학습에서의 정책 일반화 문제를 해결하기 위해.
• 특히 이동 불변성과 같은 불변성 학습이 다양한 훈련 철학을 통해 유도될 수 있는지 조사하기 위해.
• 데이터 증강, 메타학습, 적대적 훈련을 정책 일반화 향상에 기여하는 작업에 종속되지 않는 방법으로 평가하기 위해.
• 불변 또는 분리된 특징을 학습하는 것이 새로운 작업 변형 간의 전이성 향상에 더 효과적인지 확인하기 위해.
• 기억에 의존하는 특징이 아닌, 작업의 일반화를 가능하게 하는 방법을 특정하기 위해.

제안 방법

• 데이터 증강은 훈련 중 게임 화면 임베딩을 무작위로 이동시킴으로써 적용되어, 에이전트가 이동 불변 표현을 학습하도록 유도한다.
• 메타학습은 두 개의 랜덤 작업에 대한 손실의 합을 최소화하기 위한 일阶 근사 방법을 사용하여, 일반화 가능한 파rameter 업데이트를 장려한다.
• 적대적 훈련은 은닉층 활성화에서 작업 정체성을 분류하는 판별기(discriminator)를 사용하여, 에이전트가 작업에 종속되지 않는 표현을 생성하도록 유도한다.
• 에이전트는 데이터 증강 기법을 사용하거나 사용하지 않는 경우를 포함해 Double-DQN 및 A2C 알고리즘을 사용해 훈련된다.
• 성능 평가는 총 1,271개의 작업에서 평가되며, 훈련에 6개, 제로샷 일반화 테스트에 1,265개가 사용된다.
• t-SNE 시각화를 통해 은닉층 표현을 분석하여, 적대적 훈련 유무에 따라 작업 클러스터링의 차이를 비교한다.

실험 결과

연구 질문

• RQ1 데이터 증강이 강화학습 정책에서 이동 불변성을 효과적으로 유도하여 제로샷 일반화 성능 향상에 기여할 수 있는가?
• RQ2 메타학습이 작업 간 기울기 정렬을 통해 표준 강화학습 훈련보다 더 나은 일반화를 이끌 수 있는가?
• RQ3 적대적 훈련이 은닉 표현에서 작업 특화 정보를 효과적으로 제거하면서도 작업 해결 능력은 유지할 수 있는가?
• RQ4 독립적 또는 분리된 특징을 학습하는 것만으로도 일반화가 충분한가, 아니면 불변성이 더 중요한가?
• RQ5 메타학습과 적대적 훈련은 이론적으로 유리한 점이 있음에도 불구하고 표준 강화학습보다 일반화 성능이 떨어지는 이유는 무엇인가?

주요 결과

• 데이터 증강은 99.8%의 일반화 성능를 달성하여, 1,265개의 미사용 장애물 위치 중 1,263개를 해결했으며, 기준 성능을 크게 뛰어넘었다.
• 데이터 증강을 사용하지 않은 기준 에이전트는 테스트 작업의 2.8%에만 일반화되었으며(1,265개 중 36개), 이는 전이성 부족을 시사한다.
• 데이터 증강을 통해 훈련된 에이전트는 훈련 중에 전혀 보지 못한 연속된 두 개의 장애물도 해결할 수 있었으며, 이는 강력한 불변성 학습의 증거이다.
• 메타학습과 적대적 훈련은 이론적으로 불변성 학습에 유리한 점이 있음에도 불구하고, 표준 강화학습 기준 성능을 뛰어넘지 못했다.
• t-SNE 시각화 결과, 적대적 훈련은 은닉 표현에서 작업 특화 클러스터링을 성공적으로 제거했지만, 일반화 성능는 여전히 열악했다.
• 결과적으로, 불변성은 명시적으로 장려되어야 하며, 단순히 분리된 특징을 학습하는 것만으로는 일반화에 충분하지 않다. 메타학습과 적대적 훈련이 효과적으로 일반화하지 못한 점이 이를 뒷받침한다.