[논문 리뷰] Identifying Co-Adaptation of Algorithmic and Implementational Innovations in Deep Reinforcement Learning: A Taxonomy and Case Study of Inference-based Algorithms.

Hiroki Furuta, Tadashi Kozuno외 3명|arXiv (Cornell University)|2021. 03. 31.

Reinforcement Learning in Robotics참고 문헌 58인용 수 4

한 줄 요약

이 논문은 딥 강화학습에서 알고리즘적 혁신과 구현 세부 사항을 분리하기 위해 통합된 추론 기반 프레임워크를 제안한다. 단일한 제어-추론 목표함수를 사용하여 이를 달성한다. 연구는 tanh 정책과 네트워크 크기와 같은 공적응 구현 선택 사항이 성능에 결정적인 영향을 미친다는 점을 밝혀내며, 이로 인해 구현이 맞지 않을 경우 성능 저하가 심각하게 발생함을 보여주고, 일부 구성 요소(예: 레이어 정규화)는 알고리즘 간에 이식 가능하다는 것을 확인한다.

ABSTRACT

Recently many algorithms were devised for reinforcement learning (RL) with function approximation. While they have clear algorithmic distinctions, they also have many implementation differences that are algorithm-agnostic and sometimes subtle. Such mixing of algorithmic novelty and implementation craftsmanship makes rigorous analyses of the sources of performance improvements difficult. In this work, we focus on a series of inference-based actor-critic algorithms -- MPO, AWR, and SAC -- to decouple their algorithmic innovations and implementation decisions. We present unified derivations through a single control-as-inference objective, where we can categorize each algorithm as based on either Expectation-Maximization (EM) or direct Kullback-Leibler (KL) divergence minimization and treat the rest of specifications as implementation details. We performed extensive ablation studies, and identified substantial performance drops whenever implementation details are mismatched for algorithmic choices. These results show which implementation details are co-adapted and co-evolved with algorithms, and which are transferable across algorithms: as examples, we identified that tanh policy and network sizes are highly adapted to algorithmic types, while layer normalization and ELU are critical for MPO's performances but also transfer to noticeable gains in SAC. We hope our work can inspire future work to further demystify sources of performance improvements across multiple algorithms and allow researchers to build on one another's both algorithmic and implementational innovations.

연구 동기 및 목표

• 딥 강화학습에서 알고리즘적 혁신과 구현 세부 사항이 혼합되어 있는 문제를 다루어 엄밀한 성능 분석을 방해하는 것을 해결한다.
• 추론 기반 액터-크리틱 알고리즘에서 알고리즘적 신규성과 특정 구현 선택 사항을 체계적으로 분리한다.
• 특정 알고리즘에 맞춰 공적응되는 구현 세부 사항과 다양한 알고리즘 간에 이식 가능한 요소를 식별한다.
• 최적화 원칙(EM 대비 KL 최소화)에 기반해 알고리즘을 분류하는 통합 이론적 프레임워크를 제공한다.
• 성능 향상의 원인을 명확히 하여 더 투명하고 재현 가능하며 누적 가능한 딥 강화학습의 진전을 가능하게 한다.

제안 방법

• MPO, AWR, SAC를 포함하는 통합된 제어-추론 목표함수를 유도하여 일관된 비교를 가능하게 한다.
• 각 알고리즘을 기대-최대화(EM) 또는 직접적인 쿨백-라이블러리프(KL) 발산 최소화를 사용하는지에 따라 분류한다.
• 활성화 함수, 정규화, 네트워크 아키텍처와 같은 나머지 사양은 모두 구현 세부 사항으로 간주한다.
• 다양한 알고리즘 유형 간에 구현 구성 요소를 체계적으로 변화시켜 광범위한 아블레이션 연구를 수행한다.
• 통제된 실험을 통해 개별 구현 선택 사항이 최종 성능에 미치는 영향을 고립하여 분석한다.
• 통합 프레임워크를 활용해 알고리즘 설계 선택 사항과 함께 구현 세부 사항이 어떻게 공-evolve하는지 분석한다.

실험 결과

연구 질문

• RQ1 추론 기반 강화학습 알고리즘에서 어떤 구현 세부 사항이 특정 알고리즘 선택 사항과 공적응되는가?
• RQ2 성능 저하 없이 다양한 알고리즘 간에 어떤 정도로 구현 구성 요소를 이식할 수 있는가?
• RQ3 알고리즘적 차이(EM 대비 KL 최소화)가 성능에 대한 구현 선택 사항의 민감도에 어떤 영향을 미치는가?
• RQ4 구현 세부 사항이 서로 맞지 않을 경우 알고리즘 성능에 어떤 영향을 미치는가?
• RQ5 다양한 알고리즘에서 일관된 성능 향상을 제공하는 구현 구성 요소는 무엇이며, 이는 일반적인 유용성을 시사하는가?

주요 결과

• 알고리즘 유형과 구현 세부 사항이 맞지 않을 경우 성능 저하가 심각하게 발생하며, 강한 공적응 관계가 있음을 입증한다.
• tanh 정책과 네트워크 크기는 특정 알고리즘 유형과 매우 공적응되어 있으며, 무분별한 이식은 피해야 한다.
• 레이어 정규화와 ELU 활성화 함수는 MPO의 성능에 핵심적이며, SAC에서도 뚜렷한 성능 향상을 가져다주어 이식 가능한 이점을 보여준다.
• 배치 정규화와 ReLU와 같은 일부 구현 구성 요소는 알고리즘 간 일관된 성능 향상을 보이지 않아 일반화 가능성은 제한적임을 시사한다.
• 통합된 추론 기반 프레임워크는 알고리즘 설계와 구현 선택 사항 간의 숨겨진 의존 관계를 성공적으로 드러낸다.
• ELU와 레이어 정규화와 같은 일부 구현 선택 사항은 다양한 알고리즘 유형에서 일관된 성능 향상을 제공하여 보편적 재사용 가능성을 시사한다.