[논문 리뷰] Learning to select computations

Falk Lieder, Frederick Callaway외 3명|arXiv (Cornell University)|2017. 01. 01.

Reinforcement Learning in Robotics참고 문헌 20인용 수 2

한 줄 요약

이 논문은 이 Insight를 활용하여 이르기적이고 완전한 정보 가치 사이에 있는 계산의 가치를 근사함으로써 합리적인 메타이성의 원리를 모방하는 샘플 효율적인 강화학습 알고리즘을 제안한다. 이 알고리즘은 종료, 행동 선택, 계획과 같은 세 가지 메타이성 작업에서 최적에 가까운 성능을 달성하며, 메타-그리디 및 블리커드 정책과 같은 최신 기준 성능을 뛰어넘는다.

ABSTRACT

Efficient use of limited computational resources is essential to intelligence. Selecting computations optimally according to rational metareasoning would achieve this, but rational metareasoning is computationally intractable. Inspired by psychology and neuroscience, we propose the first learning algorithm for approximating the optimal selection of computations. We derive a general, sample-efficient reinforcement learning algorithm for learning to select computations from the insight that the value of computation lies between the myopic value of computation and the value of perfect information. We evaluate the performance of our method against two state-of-the-art methods for approximate metareasoning--the meta-greedy heuristic and the blinkered policy--on three increasingly difficult metareasoning problems: metareasoning about when to terminate computation, metareasoning about how to choose between multiple actions, and metareasoning about planning. Across all three domains, our method achieved near-optimal performance and significantly outperformed the meta-greedy heuristic. The blinkered policy performed on par with our method in metareasoning about decision-making, but it is not directly applicable to metareasoning about planning where our method outperformed both the meta-greedy heuristic and a generalization of the blinkered policy. Our results are a step towards building self-improving AI systems that can learn to make optimal use of their limited computational resources to efficiently solve complex problems in real-time.

연구 동기 및 목표

• 지능형 시스템에서 제한된 계산 자원을 효율적으로 할당하는 문제에 대응하기 위해.
• 합리적인 메타이성의 계산 비용이 높아지는 문제를 극복하기 위해 근사를 학습함으로써.
• 계산 종료, 행동 선택, 계획과 같은 다양한 메타이성 문제에 적용 가능한 일반화 가능한 방법을 개발하기 위해.
• 기존의 근사 메타이성 방법, 예를 들어 메타-그리디 및 블리커드 정책의 성능과 적용 범위를 향상시키기 위해.
• 실시간에서 계산 자원의 최적 사용을 학습하는 자기 향상형 AI 시스템을 가능하게 하기 위해.

제안 방법

• 경험에서 계산 선택 정책을 강화학습을 통해 학습하며, 이르기적 가치와 완전한 정보 가치 사이의 균형을 이루는 가치 함수를 사용한다.
• 계산의 가치를 즉각적인 이득과 전체 정보 수익 사이에 둠으로써 안정적인 학습을 가능하게 한다.
• 모의 메타이성 작업에서 훈련된 샘플 효율적인 강화학습 알고리즘을 사용하여 최적의 의사결정 정책을 근사한다.
• 세 가지 영역에 적용한다: 계산을 언제 종료할 것인지, 어떤 행동을 선택할 것인지, 불확실성 하에서의 계획.
• 복잡한 의사결정 공간에서 상태와 행동 간의 일반화를 위해 함수 근사를 사용한다.
• 환경 상호작용에서 수집한 경험을 기반으로 엔드 투 엔드로 훈련하여 수작업 히ュ리스틱에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 학습된 강화학습 정책이 기존 히ュ리스틱 방법보다 최적의 계산 선택을 더 잘 근사할 수 있는가?
• RQ2 제안된 방법은 종료, 행동 선택, 계획과 같은 다양한 메타이성 문제에서 어떻게 성능을 발휘하는가?
• RQ3 블리커드 정책이 적용되지 않는 도메인, 예를 들어 계획 영역에 대해 이 방법이 일반화되는가?
• RQ4 알고리즘이 계산 효율성과 해의 품질 측면에서 얼마나 최적에 가까운 성능을 달성하는가?
• RQ5 이르기적 가치와 완전한 정보 가치 사이를 연결하는 가치 함수 설정이 안정적이고 효과적인 학습을 이끌 수 있는가?

주요 결과

• 제안된 방법은 계산 종료, 행동 선택, 계획과 같은 세 가지 메타이성 작업 전반에서 최적에 가까운 성능을 달성했다.
• 모든 영역에서 메타-그리디 히ュ리스틱보다 유의미하게 뛰어난 성능을 보이며, 더 높은 의사결정 품질과 효율성을 입증했다.
• 의사결정에 대한 메타이성에서 블리커드 정책과 유사한 성능을 보였지만, 제안된 방법은 블리커드 정책이 실패하는 계획 영역으로도 효과적으로 일반화되었다.
• 블리커드 정책의 일반화된 버전보다 계획 작업에서 성능이 뛰어나, 더 넓은 적용 가능성을 입증했다.
• 샘플 효율적인 강화학습 프레임워크 덕분에 제한된 경험으로도 안정적인 학습이 가능해져 실시간 배포를 지원했다.
• 가치 함수 설정이 단기 이득과 장기 정보 이득 사이의 균형을 효과적으로 조절하여 견고한 정책 학습을 가능하게 했다.