[논문 리뷰] Learning Feature Relevance Through Step Size Adaptation in Temporal-Difference Learning

Alexandra Kearney, Vivek Veeriah외 3명|arXiv (Cornell University)|2019. 03. 08.

Machine Learning and Data Classification참고 문헌 22인용 수 7

한 줄 요약

이 논문은 시간차(TD) 학습에서 각 특징에 대해 개별적인 학습률을 적응적으로 조정함으로써 관련 있는 특징을 자동으로 식별하고 우선순위를 정하는 온라인 메타학습 방법인 AutoTIDBD를 제안한다. AutoStep의 정규화를 활용해 Incremental Delta-Bar-Delta(IDBD)를 TD 학습에 확장함으로써, 이 방법은 특징별로 동적으로 학습률을 조정하여 정적 학습률 방법보다 다양한 작업, 특히 비정상적 및 실제 로봇 예측 문제에서 뛰어난 일반화 성능을 보이는 강건하고 적응적인 표현 학습을 가능하게 한다.

ABSTRACT

There is a long history of using meta learning as representation learning, specifically for determining the relevance of inputs. In this paper, we examine an instance of meta-learning in which feature relevance is learned by adapting step size parameters of stochastic gradient descent---building on a variety of prior work in stochastic approximation, machine learning, and artificial neural networks. In particular, we focus on stochastic meta-descent introduced in the Incremental Delta-Bar-Delta (IDBD) algorithm for setting individual step sizes for each feature of a linear function approximator. Using IDBD, a feature with large or small step sizes will have a large or small impact on generalization from training examples. As a main contribution of this work, we extend IDBD to temporal-difference (TD) learning---a form of learning which is effective in sequential, non i.i.d. problems. We derive a variety of IDBD generalizations for TD learning, demonstrating that they are able to distinguish which features are relevant and which are not. We demonstrate that TD IDBD is effective at learning feature relevance in both an idealized gridworld and a real-world robotic prediction task.

연구 동기 및 목표

• 강화학습에서 수작업 특징 공학의 과제를 해결하기 위해 입력 특징 중 관련 있는 특징을 자동으로 식별할 수 있도록 하는 것.
• 원래는 지도학습을 위한 것이었던 Incremental Delta-Bar-Delta(IDBD) 메타학습 알고리즘을 순차적이고 i.i.d.가 아닌 작업을 위한 시간차(TD) 학습으로 확장하는 것.
• 하이퍼파rameter를 수작업으로 조정하는 데 의존도를 줄이고 일반화 능력을 향상시키기 위해 특징별로 학습률을 적응적으로 조정하는 강건한 온라인 방법을 개발하는 것.
• 학습된 학습률이 합성 환경과 실제 환경 모두에서 관련 있는 특징와 잡음이 많은 특징를 효과적으로 구분할 수 있는지 평가하는 것.
• 메타학습된 학습률이 다양한 메타학습률 및 초기 학습률 설정에 걸쳐 성능 향상을 이끌 수 있음을 보여주는 것.

제안 방법

• 선형 함수 근사기에서의 일반화된 메타기울기 하강법을 유도함으로써 IDBD 알고리즘을 TD 학습에 적용한다.
• AutoStep의 정규화를 통합하여 메타업데이트의 안정성을 높이고 학습률 적응 과정에서 발산을 방지하는 AutoTIDBD를 도입한다.
• 각 특징의 학습률을 그 학습률에 대한 예측 오차의 기울기 기반으로 조정하는 메타기울기 업데이트 규칙을 적용한다.
• 표준 TD 학습 프레임워크와의 호환성을 확보하기 위해, 교체 및 누적 트레이스를 모두 활용한 온정책 TD(λ)에 적용한다.
• 학습률이 임계값을 초과할 경우 효과적인 학습률을 제약하여 과도한 조정을 방지하는 정규화 기법을 사용한다.
• 학습된 학습률의 크기를 특징의 중요도 지표로 활용하며, 작은 학습률은 신뢰도가 낮거나 잡음이 많은 특징을 나타낸다.

실험 결과

연구 질문

• RQ1 순차적 의사결정 문제에서 시간차 학습에 대해 IDBD 스타일의 메타학습을 학습률 적응에 성공적으로 일반화할 수 있는가?
• RQ2 다양한 메타하이퍼파rameter 설정 범위에서 AutoTIDBD가 고정된 학습률을 사용하는 표준 TD 학습보다 우수한 성능을 보일 수 있는가?
• RQ3 비정상적인 환경에서 특징별 학습률을 학습함으로써 알고리즘이 관련 있는 특징와 잡음이 많은 특징를 효과적으로 구분할 수 있는가?
• RQ4 초기 학습률과 메타학습률의 변화에 대해 표준 TD 방법에 비해 AutoTIDBD는 얼마나 강건한가?
• RQ5 학습된 학습률이 특징 중요도의 대체 지표로 기능할 수 있으며, 학습 시스템에서 조기 예측 평가나 내재적 동기 부여를 지원할 수 있는가?

주요 결과

• AutoTIDBD는 격자형 월드 환경에서 특징 중요도를 성공적으로 학습하여, 관련 있는 특징에 비해 잡음이 많은 특징에 대해 유의미하게 작은 학습률을 할당하였다.
• 격자형 월드 환경에서, 잡음이 많은 특징의 학습률은 시간이 지남에 따라 일관되게 감소하여 관련 있는 특징와 명확한 분리가 이루어졌다.
• 실제 로봇 예측 작업에서 AutoTIDBD는 표준 TD 학습에 비해 초기 메타학습률 및 초기 학습률 설정에 대한 민감도가 낮아 보였다.
• 특히 특징 중요도가 시간이 지남에 따라 변화하는 비정상적 환경에서는, 조정된 정적 학습률을 사용하는 베이스라인 TD보다 성능이 뛰어났다.
• 학습된 학습률의 크기와 특징의 신뢰도 사이에 강한 상관관계가 있었으며, 이는 중요하지 않거나 잡음이 많은 입력을 효과적으로 식별하는 데 기여하였다.
• AutoTIDBD의 정규화 기법은 학습률이 일시적으로 1을 초과하더라도 과도한 조정을 방지하고 안정적인 수렴을 보장하였다.