[논문 리뷰] Learning Generalizable Agents via Saliency-Guided Features Decorrelation

Sili Huang, Yanchao Sun외 6명|arXiv (Cornell University)|2023. 10. 08.

Reinforcement Learning in RoboticsComputer Science인용 수 3

한 줄 요약

이 논문은 시각적 강화학습에서 유사 상관관계를 줄이기 위해 무작위 푸리에 특징(RFF)과 사전 지도 지도를 활용하는 샘플 재가중 방법인 Saliency-Guided Features Decorrelation(SGFD)을 제안한다. 이는 작업과 관련 없는 특징과 작업과 관련 있는 특징이 결정에 미치는 인과적 영향을 더 잘 구분할 수 있도록 도와주며, DMControl 및 Causal World 벤치마크에서 다양한 시각적 변형에 대해 일반화 성능을 크게 향상시킨다. 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

In visual-based Reinforcement Learning (RL), agents often struggle to generalize well to environmental variations in the state space that were not observed during training. The variations can arise in both task-irrelevant features, such as background noise, and task-relevant features, such as robot configurations, that are related to the optimal decisions. To achieve generalization in both situations, agents are required to accurately understand the impact of changed features on the decisions, i.e., establishing the true associations between changed features and decisions in the policy model. However, due to the inherent correlations among features in the state space, the associations between features and decisions become entangled, making it difficult for the policy to distinguish them. To this end, we propose Saliency-Guided Features Decorrelation (SGFD) to eliminate these correlations through sample reweighting. Concretely, SGFD consists of two core techniques: Random Fourier Functions (RFF) and the saliency map. RFF is utilized to estimate the complex non-linear correlations in high-dimensional images, while the saliency map is designed to identify the changed features. Under the guidance of the saliency map, SGFD employs sample reweighting to minimize the estimated correlations related to changed features, thereby achieving decorrelation in visual RL tasks. Our experimental results demonstrate that SGFD can generalize well on a wide range of test environments and significantly outperforms state-of-the-art methods in handling both task-irrelevant variations and task-relevant variations.

연구 동기 및 목표

• 작업과 관련 없는 특징과 작업과 관련 있는 특징에서 발생하는 새로운 환경적 변형에 대응할 때 시각적 강화학습에서 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 고차원 시각적 관측치에서 내재된 특징 상관관계로 인해 발생하는 입력 특징과 결정 간의 유사 상관관계를 분리하기 위해.
• 배경 잡음이나 로봇 구성 변경과 같은 특징 변화를 정확하게 인식하고, 그 변화가 최적의 결정에 미치는 진짜 영향을 정확히 연관지킬 수 있도록 하기 위해.
• 불변 표현 학습에만 의존하는 것 대신, 사전 지도 기반 재가중과 비선형 상관관계 추정을 통해 훈련 샘플을 재가중하여 정책의 일반화 성능을 향상시키기 위해.

제안 방법

• SGFD는 고차원 시각적 특징 간의 복잡한 비선형 상관관계를 선형 계산 복잡도로 근사하기 위해 무작위 푸리에 특징(RFF)을 사용한다.
• 입력 이미지의 원천(예: 환경 또는 변형 유형)을 식별하기 위해 분류 모델을 훈련시키며, 그 사전 지도 지도는 환경 간에 변화한 특징을 강조한다.
• 사전 지도 지도가 샘플 재가중을 이끌어내어 변화한 특징에 대해 추정된 상관관계를 특별히 최소화함으로써, 정책 학습에 대한 혼란을 줄인다.
• RFF로 임bed된 특징과 행동 간의 공분산 행렬을 사용하여 비선형 특징-결정 상관관계를 추정하고, 이를 재가중을 통해 최소화한다.
• 훈련 중에 샘플 재가중을 적용하여 상관관계가 있는 비인과적 특징의 영향을 줄이고, 결정에 영향을 주는 변화된 특징과의 연관성을 유지한다.
• 이 방법은 DMControl 및 Causal World 벤치마크에서 평가되었으며, RFF와 사전 지도 지도의 역할을 검증하기 위한 분석 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 사전 지도 지도와 RFF 기반 상관관계 추정을 통해 유도된 샘플 재가중이 작업과 관련 없는 특징과 관련 있는 환경적 변형 모두에서 시각적 강화학습의 일반화 성능을 향상시키는가?
• RQ2 RFF는 고차원 시각적 특징 간의 비선형 상관관계를 강화학습에서 상관관계 해소에 효과적으로 포착할 수 있는가?
• RQ3 사전 지도 지도 기반 재가중은 인과적 특징-결정 연관관계와 유사 상관관계를 구분하는 모델의 능력을 얼마나 향상시키는가?
• RQ4 사전 지도 지도로 식별된 변화한 특징들만을 해소하는 것이 전체 특징 해소보다 더 나은 일반화 성능을 이끌어내는가?
• RQ5 기존의 불변 표현 학습 방법과 비교했을 때, SGFD는 두 가지 유형의 환경적 변형을 처리하는 데 얼마나 효과적인가?

주요 결과

• SGFD는 DMControl 벤치마크에서 배경 영상 간섭과 다양한 로봇 파arameter 변화가 있는 환경에서 기존 최고 수준의 방법들을 크게 능가하는 일반화 성능을 보였다.
• 분석 연구 결과, RFF를 제거할 경우 성능이 크게 떨어지며, 이는 RFF가 복잡한 비선형 상관관계를 모델링하는 데 중요한 역할을 한다는 것을 확인한다.
• 사전 지도 지도 기반 모델을 제거할 경우 성능이 급격히 감소하여, 이는 변화한 특징에 대해 상관관계 해소를 집중적으로 이끌어내는 데 그 중요성을 입증한다.
• 재가중 과정은 동일한 상태 인스턴스(예: '넘어진 자세')의 수를 다양한 환경 간에 균형 있게 맞추어 유사 상관관계를 중화시켰다.
• 샘플 가중치의 시각화 결과, SGFD가 작업과 관련 없는 특징(예: 배경)과 정책 결정 간의 상관관계를 효과적으로 줄임을 확인할 수 있었다.
• DMControl 및 Causal World 벤치마크에서 검증된 바에 따르면, 이 방법은 배경 잡음과 로봇 구성 변화를 포함한 다양한 시각적 변형에 대해 잘 일반화된다.