[논문 리뷰] Two geometric input transformation methods for fast online reinforcement learning with neural nets

Sina Ghiassian, Huizhen Yu외 2명|arXiv (Cornell University)|2018. 05. 18.

Neuroinflammation and Neurodegeneration Mechanisms참고 문헌 21인용 수 7

한 줄 요약

이 논문은 ReLU 신경망을 사용한 온라인 강화학습에서 치명적 간섭을 줄이기 위해 타일 코딩과 EmECS라는 두 가지 기하학적 입력 변환 방법을 제안한다. 입력을 변환하여 局소 일반화를 가능하게 함으로써, 경험 재생 없이도 완전히 증분 학습이 가능하며, 표준 신경망이나 선형 함수 근사기법을 사용한 타일 코딩보다 더 빠르고 정확한 학습을 달성한다.

ABSTRACT

We apply neural nets with ReLU gates in online reinforcement learning. Our goal is to train these networks in an incremental manner, without the computationally expensive experience replay. By studying how individual neural nodes behave in online training, we recognize that the global nature of ReLU gates can cause undesirable learning interference in each node's learning behavior. We propose reducing such interferences with two efficient input transformation methods that are geometric in nature and match well the geometric property of ReLU gates. The first one is tile coding, a classic binary encoding scheme originally designed for local generalization based on the topological structure of the input space. The second one (EmECS) is a new method we introduce; it is based on geometric properties of convex sets and topological embedding of the input space into the boundary of a convex set. We discuss the behavior of the network when it operates on the transformed inputs. We also compare it experimentally with some neural nets that do not use the same input transformations, and with the classic algorithm of tile coding plus a linear function approximator, and on several online reinforcement learning tasks, we show that the neural net with tile coding or EmECS can achieve not only faster learning but also more accurate approximations. Our results strongly suggest that geometric input transformation of this type can be effective for interference reduction and takes us a step closer to fully incremental reinforcement learning with neural nets.

연구 동기 및 목표

• 신경망을 사용한 온라인 강화학습에서 가중치 갱신이 전역 함수 변화를 일으키고 과거 지식을 상실하는 치명적 간섭 문제를 해결한다.
• 경험 재생의 한계를 극복하여 신경망을 사용한 완전히 증분적이고 온라인 학습이 가능한 방법을 개발한다.
• ReLU 활성화 함수의 기하학적 성질과 일치하는 입력 변환 기법을 개발하여 국소 일반화를 촉진하고 간섭을 줄인다.
• 기하학적 입력 변환이 표준 신경망과 선형 함수 근사기법을 사용한 고전적 타일 코딩보다 온라인 강화학습 환경에서 더 우수한 성능을 내는지 입증한다.
• 비정책 학습 환경에서 고차원 및 실제 로봇 작업에까지 기하학적 입력 방법의 적용 가능성을 확장한다.

제안 방법

• 기존의 바이너리 인코딩 기법인 타일 코딩을 적용하여 입력 공간의 위상적 구조를 유지하는 동시에, ReLU 신경망에 적합한 희소하고 국소 민감한 특징으로 원시 입력을 변환한다.
• 입력 공간을 볼록 집합의 경계에 임베딩하여 국소 반응 행동을 가능하게 하는 새로운 기하학적 방법인 EmECS(볼록 집합의 극단점 임베딩)를 제안한다.
• 변환된 입력을 단일 은닉층 신경망(ReLU 활성화 함수 사용)의 입력으로 사용하고, 경험 재생 없이 증분적으로 네트워크를 학습시킨다.
• 타일 코딩과 EmECS의 기하학적 성질을 활용하여 ReLU 노드가 국소 이웃에만 반응하도록 제약을 두어, 가중치 갱신 시 전역 간섭을 줄인다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 유전성 추적을 사용한 시간 차분 학습을 적용한다.
• 여러 강화학습 작업에서 표준 신경망(원시 입력 사용), 선형 함수 근사기법을 사용한 타일 코딩(TC-Lin), 기타 기준 모델들과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 기하학적 입력 변환 기법은 ReLU 신경망을 사용한 온라인 강화학습에서 치명적 간섭을 줄일 수 있는가?
• RQ2 타일 코딩과 EmECS는 표준 신경망과 TC-Lin에 비해 온라인 강화학습에서 학습 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 이러한 변환 기법이 경험 재생 없이 완전히 증분적 학습을 얼마나 잘 가능하게 하는가?
• RQ4 고차원적이고 실제 로봇 작업 환경에서 비정책 데이터를 사용할 경우 이 방법들은 어떻게 성능을 내는가?
• RQ5 기하학적 입력 변환과 함께 유전성 추적을 사용할 경우 학습 성능 향상 효과가 추가로 나타나는가?

주요 결과

• 타일 코딩을 적용한 신경망(TC-NN)과 EmECS는 표준 신경망보다 더 국소적으로 일반화되며, 온라인 학습 중 치명적 간섭을 크게 줄인다.
• 고차원 문제에서 TC-NN는 TC-Lin보다 우수한 성능을 보이며, 비선형성 덕분에 더 뛰어난 함수 근사 능력을 입증한다.
• 150차원 RGB 입력을 가진 Kobuki 로봇 충돌 예측 작업에서 TC-NN와 EmECS는 기준 모델들보다 더 빠르고 정확한 학습을 달성했다.
• 제안된 방법에 대해 유전성 추적을 사용함으로써 학습 속도와 정확도가 추가로 향상되었으며, 이는 기존의 부트스트랩 기법과의 호환성을 시사한다.
• 결과적으로 기하학적 입력 변환 기법은 낮은 차원의 표본 작업을 넘어서 복잡한 고차원 환경에서도 효과적이며, 이는 이 기법의 유효성을 보여준다.
• 선형 함수 근사기법이 선형성으로 인해 제한되는 것과 달리, 이러한 방법들은 네트워크의 표현 능력을 제한하지 않으면서도 간섭을 줄인다.