[논문 리뷰] Discovery of Useful Questions as Auxiliary Tasks

Vivek Veeriah, Matteo Hessel외 7명|arXiv (Cornell University)|2019. 09. 10.

Neural Networks and Reservoir Computing인용 수 38

한 줄 요약

이 논문은 멀티스텝 메타그래디언트 방법을 통해 GVF 기반 질문을 발견하고 이를 보조 작업으로 활용해 학습 표현이 주된 강화학습(RL) 작업을 지원하도록 하며 데이터 효율성을 향상시키고 Atari 벤치마크를 포함한 성과를 보여준다.

ABSTRACT

Arguably, intelligent agents ought to be able to discover their own questions so that in learning answers for them they learn unanticipated useful knowledge and skills; this departs from the focus in much of machine learning on agents learning answers to externally defined questions. We present a novel method for a reinforcement learning (RL) agent to discover questions formulated as general value functions or GVFs, a fairly rich form of knowledge representation. Specifically, our method uses non-myopic meta-gradients to learn GVF-questions such that learning answers to them, as an auxiliary task, induces useful representations for the main task faced by the RL agent. We demonstrate that auxiliary tasks based on the discovered GVFs are sufficient, on their own, to build representations that support main task learning, and that they do so better than popular hand-designed auxiliary tasks from the literature. Furthermore, we show, in the context of Atari 2600 videogames, how such auxiliary tasks, meta-learned alongside the main task, can improve the data efficiency of an actor-critic agent.

연구 동기 및 목표

• 에이전트가 주된 RL 작업에 대한 가치 있는 표현을 획득하기 위해 해결할 수 있는 유용한 질문을 자율적으로 발견하도록 동기를 부여한다.
• 메타그래디언트를 사용하여 관건인 표현의 유용성을 주된 작업에 맞춰 최적화하는 GVF-질문 발견 자동화에 대한 체계적인 방법을 제안한다.
• 이 방식으로 발견된 GVF 기반 보조 작업이 표현 학습에 충분하며 수동으로 디자인된 보조 작업보다 우수할 수 있음을 입증한다.
• 주된 작업과 함께 학습할 때 Atari에서 데이터 효율성이 향상될 수 있음을 보여준다.
• 다양한 도메인에서 발견적 학습의 비마이오픽(멀티스텝) 메타그래디언트의 이점과 한계를 평가한다.

제안 방법

• 주된 작업 네트워크(정책/가치 추정)와 GVF 누적값과 할인율을 매개변수화하는 별도의 질문 네트워크를 제시한다.
• 무제한이 아닌 멀티스텝 메타그래디언트를 사용해 L개의 내부 RL 업데이트를 통해 메타-손실로 역전파함으로써 질문 네트워크의 메타-매개변수를 업데이트한다.
• GVF 해답이 정책에 따른 온-정책 메인 작업을 따라 일반화된 TD 업데이트를 통해 학습되는 행위자-비평가 설정에서 접근을 구성한다.
• 그리드월드, Collect-Objects, Atari 도메인에서 발견된 GVFs를 보상 예측, 픽셀 제어, 무작위 GVFs와 같은 수동 설계 기준선과 비교한다.
• 보여주는 표현학습 시나리오(GVF만으로도 메인 작업 학습이 충분한 경우)와 공동 학습 시나리오(GVF와 메인 작업 업데이트를 함께 수행하여 데이터 효율성을 개선하는 경우)를 평가한다.

실험 결과

연구 질문

• RQ1 메타그래디언트가 복잡한 RL 작업의 표현 학습을 위해 GVF-질문에 대한 해답을 학습하는 것 자체로 충분한 유용한 표현을 이끌어낼 수 있도록 GVF-질문을 발견할 수 있는가?
• RQ2 발견된 GVF 기반 보조 작업이 메인 RL 작업과 함께 학습될 때, 수동 설계 보조 작업과 비교해 데이터 효율성을 향상시키는가?
• RQ3 GVF 질문의 수와 메타언롤 길이가 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 대규모 도메인에서 유용한 GVFs를 발견하는 데 비마이오픽 메타그래디언트가 필수적인가?
• RQ5 발견된 GVFs는 Atari를 포함한 여러 도메인에서 수작업으로 디자인된 보조 작업과 비교해 어떤 성능 차이를 보이는가?

주요 결과

• 발견된 GVFs는 그리드월드에서 최적 정책을 지원하는 표현을 만들 수 있으며 학습 후 Atari에서 경쟁력 있는 성능을 보여준다.
• 메타그래디언트를 통해 학습된 GVF 기반 보조 작업은 보상 예측, 픽셀 제어와 같은 수동 설계 작업을 여러 도메인에서 능가한다.
• 발견된 GVFs와의 공동 학습은 바탕이 되는 기준선에 비해 데이터 효율성을 개선할 수 있으며 게임 및 과제 난이도에 따라 이점이 달라진다.
• 메타-손실 곡선 아래 영역을 사용하는 것이 마지막 배치의 메타-손실보다 학습을 더 안정적으로 만든다.
• 너무 많은 GVF 질문이나 매우 긴 메타-언롤은 학습 효율이나 성능에 해를 끼칠 수 있어 하이퍼파라미터를 신중히 선택해야 함을 시사한다.