[논문 리뷰] Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning

Jongjin Park, Younggyo Seo외 5명|arXiv (Cornell University)|2021. 10. 26.

Reinforcement Learning in Robotics참고 문헌 56인용 수 5

한 줄 요약

이 논문은 행동 복제에서 임의의 상관관계로 인한 원인 혼동을 완화하기 위해 정책이 의미적 객체들에 균일하게 주의를 기울이도록 유도함으로써 인공지능 학습 성능을 향상시키는 객체 인지 정규화(OREO)를 제안한다. VQ-VAE를 사용해 객체 수준의 이산 코드를 식별하고 훈련 중에 전체 의미적 객체를 무작위로 마스킹함으로써, OREO는 아타리 및 카를라 환경에서 기존의 정규화 및 원인관계 기반 방법들을 능가하는 일반화 능력을 크게 향상시킨다. 이는 광범위한 환경 상호작용이 필요한 역강화 학습을 초월하는 결과를 낳는다.

ABSTRACT

Behavioral cloning has proven to be effective for learning sequential decision-making policies from expert demonstrations. However, behavioral cloning often suffers from the causal confusion problem where a policy relies on the noticeable effect of expert actions due to the strong correlation but not the cause we desire. This paper presents Object-aware REgularizatiOn (OREO), a simple technique that regularizes an imitation policy in an object-aware manner. Our main idea is to encourage a policy to uniformly attend to all semantic objects, in order to prevent the policy from exploiting nuisance variables strongly correlated with expert actions. To this end, we introduce a two-stage approach: (a) we extract semantic objects from images by utilizing discrete codes from a vector-quantized variational autoencoder, and (b) we randomly drop the units that share the same discrete code together, i.e., masking out semantic objects. Our experiments demonstrate that OREO significantly improves the performance of behavioral cloning, outperforming various other regularization and causality-based methods on a variety of Atari environments and a self-driving CARLA environment. We also show that our method even outperforms inverse reinforcement learning methods trained with a considerable amount of environment interaction.

연구 동기 및 목표

• 행동 복제에서 정책이 유사 상관관계(예: 아타리의 스코어)를 악용하는 원인 혼동 문제를 해결하기 위해.
• 정책이 모든 의미적 객체에 균일하게 주의를 기울이도록 유도하는 정규화 방법을 개발하기 위해.
• 비용이 많이 드는 환경 상호작용이 필요로 하지 않는 강력한 인공지능 학습 성능을 달성하기 위해, 이는 역강화 학습이나 상호작용 기반 원인 발견과는 대조된다.
• 의미적 마스킹을 통한 객체 인지 정규화가 복잡한 환경에서 뛰어난 일반화 능력과 성능을 낳는다는 것을 입증하기 위해.

제안 방법

• 이미지 특징에서 이산 코드를 추출하기 위해 벡터 양자화 변동형 오토인코더(VQ-VAE)를 사용하여 유사한 의미를 가진 공간 단위(예: 배경, 스코어)를 같은 코드로 묶는다.
• VQ-VAE에서 같은 이산 코드를 공유하는 특징 맵 단위의 집합으로 의미적 객체를 식별한다.
• 훈련 중에 동일한 이산 코드에 연결된 모든 단위를 제거함으로써 무작위 마스킹을 적용하여 전체 의미적 객체를 마스킹한다.
• 정책이 특정 의미적 객체의 존재 또는 부재에 대해 불변이 되도록 정규화하여, 균일한 주의를 유도하고 유사한 신호에 대한 과도한 의존도를 줄인다.
• 표준 행동 복제를 사용하여 마스킹된 이미지를 입력으로 사용하면서 정책을 엔드 투 엔드로 훈련한다.
• 모든 환경에 동일한 VQ-VAE 인코더를 사용하여 작업별 재훈련 없이 일관된 의미적 객체 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적 객체에 대한 균일한 주의를 유도함으로써 객체 인지 정규화가 행동 복제에서 원인 혼동을 줄일 수 있는가?
• RQ2 VQ-VAE 코드를 통해 전체 의미적 객체를 마스킹함으로써 복잡한 환경에서 정책의 일반화 능력이 향상되는가?
• RQ3 이 방법이 환경 상호작용이 필요로 하지 않는 기존의 정규화 및 원인관계 기반 접근법을 능가할 수 있는가?
• RQ4 환경 상호작용을 광범위하게 요구하는 역강화 학습 방법과 비교해 OREO는 어떻게 성능을 내는가?

주요 결과

• OREO는 17개 게임에 걸쳐 중앙값 인간 정규화 스코어(HNS)를 46.7%에서 53.6%로 끌어올려 복잡한 아타리 환경에서 행동 복제 성능을 크게 향상시켰다.
• 카를라 자율주행 환경에서 OREO는 표준 행동 복제 및 다른 정규화 기법보다 뛰어난 성능을 기록했다.
• 상호작용이 필요한 전문가 질의나 환경 피드백가 필요한 데 하안 등에 의한 원인관계 기반 방법보다 OREO가 승리했다.
• 아타리 게임 평균으로 OREO는 평균 HNS 114.9%를 기록하여 이어지는 최고의 방법(91.7%)을 초월하며 강력한 일반화 능력을 입증했다.
• 퐁 환경에서 OREO로 훈련된 정책은 마스킹된 스코어 이미지(12.5 ± 0.7 보상)에서 일반화되었지만, 표준 BC 정책는 실패(3.1 ± 1.4 보상)하여 유사 신호에 대한 의존도 감소를 확인했다.
• OREO는 광범위한 환경 상호작용이 필요한 역강화 학습 방법을 초월하여, 저자료, 상호작용 없음 환경에서도 뛰어난 효과를 보였다.