[논문 리뷰] Normalization Enhances Generalization in Visual Reinforcement Learning

Lu Li, Jiafei Lyu외 5명|arXiv (Cornell University)|2023. 06. 01.

Tactile and Sensory InteractionsNeuroscience인용 수 3

한 줄 요약

이 논문은 도메인 외 데이터나 작업별 수정 없이 시각적 강화학습에서 일반화를 향상시키기 위해 CrossNorm과 SelfNorm을 조합한 플러그-앤플레이 정규화 모듈을 제안한다. DrQ-v2에 통합되었을 때, 이는 예측할 수 없는 기상 조건에서 CARLA에서의 성능을 훈련 성능의 14%에서 97%로 향상시킨다.

ABSTRACT

Recent advances in visual reinforcement learning (RL) have led to impressive success in handling complex tasks. However, these methods have demonstrated limited generalization capability to visual disturbances, which poses a significant challenge for their real-world application and adaptability. Though normalization techniques have demonstrated huge success in supervised and unsupervised learning, their applications in visual RL are still scarce. In this paper, we explore the potential benefits of integrating normalization into visual RL methods with respect to generalization performance. We find that, perhaps surprisingly, incorporating suitable normalization techniques is sufficient to enhance the generalization capabilities, without any additional special design. We utilize the combination of two normalization techniques, CrossNorm and SelfNorm, for generalizable visual RL. Extensive experiments are conducted on DMControl Generalization Benchmark and CARLA to validate the effectiveness of our method. We show that our method significantly improves generalization capability while only marginally affecting sample efficiency. In particular, when integrated with DrQ-v2, our method enhances the test performance of DrQ-v2 on CARLA across various scenarios, from 14% of the training performance to 97%.

연구 동기 및 목표

• 색상 및 배경 이동과 같은 시각적 방해 요소에 대해 시각적 강화학습 에이전트의 일반화 능력이 제한되어 있는 문제를 해결한다.
• 이전에 지도 학습에서 성공한 정규화 기법이 시각적 강화학습에서 제로샷 일반화를 향상시키는 데 기여할 수 있는지 탐색한다.
• 외부 데이터, 사전 훈련 모델, 도메인 특화 설계에 의존하지 않는 자가 포함된 방법을 개발한다.
• 제안된 정규화 모듈이 다양한 벤치마크와 기본 알고리즘과의 융합성과 효과를 입증한다.

제안 방법

• 분포 이탈 상황에서도 표현 학습을 안정화하고 향상시키기 위해 시각적 강화학습 에이전트의 인코더에 CrossNorm과 SelfNorm을 통합한다.
• CrossNorm을 사용해 관측값 배치 간의 특징을 정규화하여 시각적 변동에 대한 강건성을 향상시킨다.
• SelfNorm을 사용해 각 개별 관측값 내 특징을 정규화하여 국소 불변성과 특징 일관성을 향상시킨다.
• 모든 시각적 강화학습 알고리즘에 쉽게 통합할 수 있는 플러그-앤플레이 모듈로 두 정규화 기법을 조합한다.
• 특히 복잡한 환경에서 일반화를 향상시키기 위해 CrossNorm의 배치 통계 계산 시 랜덤 크롭핑을 활용한다.
• SVEA와 같은 기존 일반화 기법과의 호환성을 확보하여 상호 보완적인 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 CrossNorm과 SelfNorm과 같은 정규화 기법이 도메인 외 데이터나 사전 훈련 모델에 의존하지 않고도 시각적 강화학습에서 일반화를 향상시킬 수 있는가?
• RQ2 CrossNorm과 SelfNorm의 조합은 시각적 강화학습에서 각각의 정규화 방법을 별도로 사용할 때보다 우수한 성능을 내는가?
• RQ3 CrossNorm의 배치 통계 계산에 랜덤 크롭핑을 포함시키는 것이 시각적 강화학습의 일반화 성능을 향상시키는가?
• RQ4 제안된 정규화 모듈은 SVEA와 같은 기존의 일반화 알고리즘과 효과적으로 융합될 수 있는가?
• RQ5 제안된 방법은 실제 세계 시뮬레이터인 CARLA에서 제로샷 일반화를 어느 정도 향상시키는가?

주요 결과

• 제안된 CrossNorm과 SelfNorm(CNSN) 모듈은 시각적 강화학습에서 일반화 능력을 크게 향상시키며, DrQ-v2와 함께 사용했을 때 CARLA에서의 테스트 성능을 훈련 성능의 14%에서 97%로 끌어올린다.
• 제거 실험 결과, CrossNorm에서 랜덤 크롭핑을 제거하면 평균적으로 성능이 최대 30% 감소함을 확인하여, 이 기법이 강건성 확보에 핵심적임을 입증한다.
• 단독으로 CrossNorm을 사용하는 경우 일부 작업에서는 CNSN 모듈과 유사한 성능를 기록하지만, 복잡한 환경에서는 조합이 개별 구성 요소를 항상 초월하는 것으로 나타났다.
• SelfNorm만을 사용할 경우 안정된 통계에 과적합되어 성능이 악화되지만, CrossNorm과 조합될 경우에만 효과적으로 기능함을 확인했다.
• CNSN 모듈은 DrQ나 SVEA와 같은 다른 알고리즘의 일반화 능력을 향상시켜, 존재하는 방법들과의 호환성과 상호보완성을 입증한다.
• 성능 향상과 함께 높은 샘플 효율성도 유지하여, 샘플 효율성과 강건성 사이에 큰 상충 관계가 없음을 시사한다.