[논문 리뷰] Measuring Visual Generalization in Continuous Control from Pixels

Jake Grigsby, Yanjun Qi|arXiv (Cornell University)|2020. 10. 13.

Reinforcement Learning in Robotics참고 문헌 39인용 수 8

한 줄 요약

이 논문은 딥마인드 컨트롤 스위트에 조명, 카메라 각도, 경관 변화와 같은 다양한 시각적 변형을 도입하여 연속 제어 에이전트의 시각적 일반화 능력을 평가하는 DMCR라는 벤치마크를 소개한다. 연구 결과, 데이터 증강 기법이 자기학습 방법보다 유의미하게 뛰어나며, 복잡한 색상 변형이 일반화 능력을 향상시켜 현재의 표현 학습 기법이 실세계 적용에 있어 한계를 드러낸다.

ABSTRACT

Self-supervised learning and data augmentation have significantly reduced the performance gap between state and image-based reinforcement learning agents in continuous control tasks. However, it is still unclear whether current techniques can face a variety of visual conditions required by real-world environments. We propose a challenging benchmark that tests agents' visual generalization by adding graphical variety to existing continuous control domains. Our empirical analysis shows that current methods struggle to generalize across a diverse set of visual changes, and we examine the specific factors of variation that make these tasks difficult. We find that data augmentation techniques outperform self-supervised learning approaches and that more significant image transformations provide better visual generalization \footnote{The benchmark and our augmented actor-critic implementation are open-sourced @ https://github.com/QData/dmc_remastered)

연구 동기 및 목표

• 현재 강화학습 에이전트가 실세계 환경에서 나타나는 다양한 시각 조건에 대해 일반화할 수 있는지 평가하기 위해.
• 이미지 기반 연속 제어 에이전트의 일반화를 방해하는 특정 시각적 변형을 특정하기 위해.
• 표현 학습 기법—특히 데이터 증강과 자기학습 학습—의 시각 도메인 이동 상황에서의 효과성을 비교하기 위해.
• 딥마인드 컨트롤 스위트에 그래픽적 다양성을 추가하여 재현 가능하고 확장 가능한 연속 제어 분야의 시각적 일반화 벤치마크를 제공하기 위해.

제안 방법

• 딥마인드 컨트롤 스위트(DMC)를 수정하여 조명, 카메라 위치, 색상, 경관에 대한 제어 가능한 변형을 도입한다.
• 학습 중에 나타나지 않은 새로운 시각 조건에서 평가되는 제로샷 시각적 일반화 벤치마크를 도입한다.
• SAC를 사용해 다양한 표현 학습 기법(예: DrQ 스타일의 무작위 자르기(AUG), 색상 왜곡(CJ), 네트워크 무작위화(NR))을 적용한 에이전트를 훈련시킨다.
• 동일한 상태의 다양한 렌더링 간의 인코더 표현 분산을 측정하여 시각적 일반화 능력을 평가하며, 낮은 분산은 더 높은 불변성을 의미한다.
• 다양한 시각적 교란 조건 하에서 여러 제어 과제(예: 카트폴, 볼 인 컵)에서 성능을 비교한다.
• 공간 활성도 맵과 표현 표준편차를 사용해 모델의 주의 집중 영역과 질감 및 배경 변화에 대한 내성 강도를 분석한다.

실험 결과

연구 질문

• RQ1 현재 이미지 기반 강화학습 에이전트는 조명 변화, 카메라 각도, 배경 경관 변화와 같은 새로운 시각 조건에 얼마나 잘 일반화되는가?
• RQ2 데이터 증강과 자기학습 학습 중 어떤 표현 학습 기법이 연속 제어에서 더 나은 시각적 일반화를 이끌어내는가?
• RQ3 색상 왜곡이나 네트워크 무작위화와 같은 복잡한 이미지 변형은 시각 도메인 이동에 대해 얼마나 높은 내성 강도를 향상시키는가?
• RQ4 어떤 특정 시각적 요소(예: 질감, 색상, 배경)가 에이전트 성능과 표현 일관성에 가장 큰 영향을 미치는가?
• RQ5 제어 가능한 그래픽적 변형을 포함한 벤치마크는 실세계 시각적 일반화 평가에 신뢰할 수 있는 대체 측정 기준이 될 수 있는가?

주요 결과

• 특히 색상 왜곡과 네트워크 무작위화를 포함한 데이터 증강 기법이 다양한 시각 조건 하에서 자기학습 학습 방법보다 시각적 일반화 능력에서 뚜렷한 승리를 거두었다.
• 색상 변경 변형(예: CJ, NR)을 적용해 훈련한 에이전트는 동일한 상태의 다양한 렌더링 간에 낮은 표현 분산을 보이며, 더 높은 불변성을 나타냈다.
• 강력한 데이터 증강 조차도 바닥 질감과 경관 변화에 대한 일반화 능력은 여전히 어려움을 겪으며, 이는 시각적 방해 요소에 대한 지속적인 민감성을 보여준다.
• 네트워크 무작위화 또는 색상 왜곡을 사용할 경우 인코더 출력의 표준편차가 크게 감소하여 더 일관된 상태 표현이 됨을 확인했다.
• DMCR 벤치마크는 시각적 일반화를 성공적으로 분리하고 측정하였으며, 현재의 방법들이 높은 시각 다양성 하에서 실세계 적용에 부적합함을 드러냈다.
• 공간 활성도 맵 분석 결과, CJ 또는 NR로 훈련한 에이전트는 바닥 질감 변화에 덜 민감하며, 이는 더 높은 인지적 내성 강도를 확인한다.