[논문 리뷰] Time Matters in Using Data Augmentation for Vision-based Deep Reinforcement Learning.

Byungchan Ko, Jungseul Ok|arXiv (Cornell University)|2021. 02. 17.

Reinforcement Learning in Robotics참고 문헌 34인용 수 4

한 줄 요약

이 논문은 시각 기반 강화학습에서 데이터 증강의 시기를 조사하며, 정규화 효과가 테스트 시에만 필요한 경우 증강을 추론(테스트) 시점까지 연기할 경우 샘플 및 계산 효율성이 향상됨을 입증한다. 반대로 학습 중에 유용한 증강 기법은 최대한의 데이터 효율성과 일반화를 위해 학습 전반에 걸쳐 적용되어야 한다.

ABSTRACT

Data augmentation technique from computer vision has been widely considered as a regularization method to improve data efficiency and generalization performance in vision-based reinforcement learning. We variate the timing of using augmentation, which is, in turn, critical depending on tasks to be solved in training and testing. According to our experiments on Open AI Procgen Benchmark, if the regularization imposed by augmentation is helpful only in testing, it is better to procrastinate the augmentation after training than to use it during training in terms of sample and computation complexity. We note that some of such augmentations can disturb the training process. Conversely, an augmentation providing regularization useful in training needs to be used during the whole training period to fully utilize its benefit in terms of not only generalization but also data efficiency. These phenomena suggest a useful timing control of data augmentation in reinforcement learning.

연구 동기 및 목표

• 시각 기반 강화학습에서 데이터 증강의 시기가 학습 및 추론에 미치는 영향을 조사하는 것.
• 학습 중에 증강을 적용하는 것과 테스트 시에만 적용하는 것이 샘플 효율성과 계산 효율성에 더 나은 영향을 미치는지 확인하는 것.
• 데이터 증강이 일반화와 데이터 효율성을 향상시키는 조건을 규명하는 것.
• 작업별 정규화 요구에 기반하여 강화학습에서 언제 그리고 어떻게 데이터 증강을 적용할지에 대한 실용적 지침을 제공하는 것.

제안 방법

• 저자는 증강을 추론 시에만 적용, 학습 시에만 적용, 또는 양쪽 단계에 모두 적용하는 방식으로 증강 시기를 체계적으로 변화시켰다.
• 성능 평가를 위해 다양한 시각 기반 강화학습 환경에서 OpenAI Procgen 벤치마크를 활용하여 실험을 수행했다.
• 증강을 다른 단계에서 적용했을 때의 학습 동역학과 테스트 성능을 비교하며 샘플 효율성과 계산 비용을 측정했다.
• 학습 중에 유용한지 또는 테스트 시에만 유용한지에 따라 정규화 효과를 분석했다.
• 표준 증강 기법과 그 정책 일반화 및 학습 안정성에 미치는 영향을 평가했다.
• 제거 실험을 통해 증강 시기의 기여를 분리하여 일반화와 데이터 효율성에서의 역할을 구분했다.

실험 결과

연구 질문

• RQ1 시각 기반 강화학습에서 데이터 증강이 가장 효과적인 시기는 언제인가—학습 중이냐 추론 중이냐?
• RQ2 데이터 증강의 시기가 샘플 효율성과 계산 복잡성에 어떤 영향을 미치는가?
• RQ3 증강이 일반화를 향상시키는 조건과 데이터 효율성을 향상시키는 조건은 각각 무엇인가?
• RQ4 증강을 추론 시점까지 연기하면 성능을 저하시키지 않고 학습 오버헤드를 줄일 수 있는가?
• RQ5 왜 증강을 전반적인 학습 기간 동안 적용해야 하는지, 아니면 테스트 시점에만 적용해야 하는지가 결정되는가?

주요 결과

• 정규화 효과가 테스트 시에만 필요한 경우 증강을 테스트 시점에만 적용할 경우 샘플 및 계산 효율성이 더 높아진다.
• 정규화 효과가 학습 과정에서 유용한 경우, 증강을 학습 전반에 걸쳐 적용하는 것이 데이터 효율성과 일반화를 극대화하는 데 필수적이다.
• 일부 증강 기법은 너무 이른 시점에 적용될 경우 학습 과정을 방해할 수 있어, 안정적인 학습을 위해 시기가 매우 중요하다.
• 학습 중에 증강이 필요하지 않은 경우, 증강을 추론 시점까지 연기하면 훈련 복잡성을 줄일 수 있으며 테스트 성능에 영향을 주지 않는다.
• 강화학습에서 데이터 증강의 효과는 정규화 효과가 학습 중에 유용한지 아니면 테스트 시점에만 유용한지에 따라 달라진다.
• 연구는 증강 시기 제어가 효율성과 성능의 균형을 이루는 데 핵심적인 요소임을 경험적으로 입증한다.