[論文レビュー] Time Matters in Using Data Augmentation for Vision-based Deep Reinforcement Learning.

Byungchan Ko, Jungseul Ok|arXiv (Cornell University)|Feb 17, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 4

ひとこと要約

本論文は、視覚ベースの強化学習におけるデータオーグメンテーションのタイミングを調査し、正則化効果がテスト時でのみ必要な場合、オーグメンテーションを推論（テスト）まで延期することで、サンプル効率および計算効率が向上することを示している。逆に、学習中に有用なオーグメンテーションは、データ効率および一般化性能を最大化するために、学習全体にわたって適用される必要がある。

ABSTRACT

Data augmentation technique from computer vision has been widely considered as a regularization method to improve data efficiency and generalization performance in vision-based reinforcement learning. We variate the timing of using augmentation, which is, in turn, critical depending on tasks to be solved in training and testing. According to our experiments on Open AI Procgen Benchmark, if the regularization imposed by augmentation is helpful only in testing, it is better to procrastinate the augmentation after training than to use it during training in terms of sample and computation complexity. We note that some of such augmentations can disturb the training process. Conversely, an augmentation providing regularization useful in training needs to be used during the whole training period to fully utilize its benefit in terms of not only generalization but also data efficiency. These phenomena suggest a useful timing control of data augmentation in reinforcement learning.

研究の動機と目的

• 視覚ベースの強化学習におけるデータオーグメンテーションのタイミングが学習および推論に与える影響を調査すること。
• 学習中にオーグメンテーションを適用するか、テスト時でのみ適用するかのどちらが、より優れたサンプル効率および計算コスト効率をもたらすかを特定すること。
• データオーグメンテーションが一般化およびデータ効率を向上させる条件を特定すること。
• タスク固有の正則化ニーズに基づいて、強化学習におけるデータオーグメンテーションをいつ、どのように適用すべきかの実用的ガイドラインを提供すること。

提案手法

• 著者らは、オーグメンテーションを推論時でのみ適用する、学習時でのみ適用する、または両方の段階で適用するといった、オーグメンテーションのタイミングを体系的に変化させた。
• 性能評価は、多様な視覚ベースの強化学習環境をカバーするOpenAI Procgenベンチマーク上で実施された。
• オーグメンテーションを異なる段階で適用した場合の訓練ダイナミクスとテストパフォーマンスを比較し、サンプル効率と計算コストを測定した。
• 正則化効果は、学習中に有益か、テスト時でのみ有益かに基づいて分析された。
• 標準的なオーグメンテーション技術と、それらが方策の一般化および学習安定性に与える影響も評価された。
• アブレーションスタディにより、オーグメンテーションのタイミングが果たす貢献が分離され、一般化とデータ効率の両者の役割が明確にされた。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースの強化学習において、データオーグメンテーションは、学習時か推論時で、どちらがより効果的か？
• RQ2 データオーグメンテーションのタイミングが、サンプル効率および計算複雑性にどのように影響するか？
• RQ3 どのような条件下で、オーグメンテーションが一般化を向上させるか、あるいはデータ効率を向上させるか？
• RQ4 テスト時までオーグメンテーションを延期することで、性能に損なわれることなく訓練のオーバーヘッドを削減できるか？
• RQ5 オーグメンテーションを学習全体にわたって適用すべきか、それともテスト時でのみ適用すべきかを決定する要因は何か？

主な発見

• 正則化効果がテスト時でのみ必要な場合、オーグメンテーションを推論時でのみ適用することで、よりサンプル効率および計算コスト効率が向上する。
• 正則化効果が学習中に有用な場合、データ効率および一般化性能を最大化するためには、学習全体にわたってオーグメンテーションを適用する必要がある。
• 一部のオーグメンテーションは、早すぎる適用によって学習プロセスを不安定にする可能性があるため、タイミングが安定した学習にとって極めて重要である。
• 学習中にオーグメンテーションが不要な場合、推論時までオーグメンテーションを延期することで、訓練の複雑性を低減しつつ、テストパフォーマンスに悪影響を及げない。
• 強化学習におけるデータオーグメンテーションの有効性は、その正則化効果が学習中に有用か、それともテスト時でのみ有用かに依存する。
• 本研究は、タイミング制御が、効率性とパフォーマンスのバランスを取るために鍵となる要因であるという実証的証拠を提供している。