[논문 리뷰] Framework for learning agents in quantum environments

Vedran Dunjko, Jacob M. Taylor외 1명|arXiv (Cornell University)|2015. 07. 30.

Quantum Computing Algorithms and Architecture참고 문헌 19인용 수 12

한 줄 요약

이 논문은 양자 환경과 상호작용하는 양자 학습 에이전트를 위한 양자 프레임워크를 제안하며, 환경가 양자 중첩을 유지하도록 구성될 경우 학습에서의 양자 가속이 가능하다는 것을 보여준다. 특히 '운명화된'(oracularized) 또는 '제어 가능한'(controllable) 환경을 통해 실현된다. 주요 결과는 환경의 내부 구조가 상호작용 역사를 일관성 있게 접근할 수 있도록 허용할 경우, 특히 간헐적인 테스트 환경에서는 양자 에이전트가 고전적 에이전트보다 학습 시간에서 뛰어난 성능을 발휘할 수 있다는 것이다.

ABSTRACT

In this paper we provide a broad framework for describing learning agents in general quantum environments. We analyze the types of classically specified environments which allow for quantum enhancements in learning, by contrasting environments to quantum oracles. We show that whether or not quantum improvements are at all possible depends on the internal structure of the quantum environment. If the environments are constructed and the internal structure is appropriately chosen, or if the agent has limited capacities to influence the internal states of the environment, we show that improvements in learning times are possible in a broad range of scenarios. Such scenarios we call luck-favoring settings. The case of constructed environments is particularly relevant for the class of model-based learning agents, where our results imply a near-generic improvement.

연구 동기 및 목표

• 고전적 강화 학습을 완전히 양자적인 에이전트-환경 상호작용으로 확장하기 위해, 양자 환경에서의 학습 에이전트를 위한 일반적 프레임워크를 수립하는 것.
• 환경이 기억 기능이나 내부 양자 구조를 가질 경우, 학습 효율성 향상에 있어 양자적 향상이 가능한 조건을 조사하는 것.
• 중첩과 얽힘으로 인해 고전적 순차적 상호작용 개념이 흐려지는 양자 환경에서 '역사'를 정의하는 데 있어 기본적인 문제를 해결하는 것.
• 고전적 테스터는 양자 가속을 금지하지만, 간헐적인 테스터는 상호작용 기간을 감시하지 않음으로써 양자 이점을 가능하게 한다는 것을 보여주는 것.
• '운명화된'(oracularized) 및 '제어 가능한'(controllable) 환경을 정의하고 분석하여, 이러한 환경이 양자 중첩을 유지함으로써 학습 시간의 양자 가속을 가능하게 한다는 것.

제안 방법

• 에이전트와 환경가 모두 양자 시스템이며, 상호작용이 양자역학에 따라 유니터리 연산으로 제어되는, 양자 에이전트-환경 상호작용 모델을 도입하는 것.
• 테스터를 제3자 관측자로 정의하여 상호작용을 모니터링하고 학습 성공 여부를 판단하며, 고전적 테스터(전체 역사를 기록)와 간헐적 테스터(감시되지 않는 단계를 허용)를 구분하는 것.
• 에이전트에게 모든 관련 양자 레지스터를 되돌리는 '운명화된 환경'(oracularized environments) $E_{\text{oracle}}$를 제안하며, 양자 계산에서의 표준 오라클을 일반화하는 것.
• 에이전트가 내부 상태에 액세스하고 조작할 수 있도록 허용하는 '제어 가능한 환경'(controllable environments) $E_{\text{control}}$를 도입하여, 고전적 에이전트와의 공정한 비교를 가능하게 하는 것.
• 밀도 행렬을 사용하여 에이전트, 환경, 고전적 레지스터의 공동 상태를 모델링하며, 고전적 테스팅 하에서는 양자 상태가 고전적 시뮬레이션과 등가인 방식으로 진화한다는 것을 보여주는 것.
• 귀납법을 통해 고전적 테스팅 하에서는 양자 에이전트와 고전적 에이전트가 동일한 역사를 생성한다는 것을 증명하며, 이러한 환경에서는 양자 가속이 불가능하다는 것을 의미하는 것.

실험 결과

연구 질문

• RQ1 어떤 조건에서 양자 에이전트가 양자 환경에서 고전적 에이전트보다 더 빠른 학습을 달성할 수 있는가?
• RQ2 양자 환경의 내부 구조는 학습에서의 양자 가속 가능성에 어떤 영향을 미치는가?
• RQ3 중첩과 얽힘으로 인해 고전적 순차적 상호작용 개념이 흐려지는 완전히 양자적인 에이전트-환경 상호작용에서 '역사'라는 의미 있는 개념을 정의할 수 있는가?
• RQ4 왜 고전적 테스터는 양자 가속을 금지하는가? 그리고 어떤 상황에서 간헐적 테스터가 양자 이점을 가능하게 하는가?
• RQ5 '운명화된' 또는 '제어 가능한' 환경과 같은 특정 유형의 환경은 어떤 것들이며, 이러한 환경은 양자 향상된 학습 시간을 가능하게 하는가?

주요 결과

• 테스터가 상호작용의 전체 역사를 기록할 경우, 양자 상태가 붕괴되어 중첩 기반의 이점이 사라지므로, 학습에서의 양자 가속은 불가능하다.
• 감시되지 않는 상호작용 단계를 허용하는 간헐적 테스터는 학습 기간 동안 양자 중첩을 유지함으로써 양자 가속을 가능하게 한다.
• 모든 관련 양자 레지스터를 에이전트에게 되돌리는 '운명화된 환경'은 특히 모델 기반 학습 환경에서 학습 시간의 양자 가속을 가능하게 한다.
• 제어 가능한 환경는 환경의 원래 동작을 유지하면서도 양자 향상된 액세스를 허용함으로써, 고전적 에이전트와의 공정한 비교를 가능하게 한다.
• 이 프레임워크는 고전적 테스팅 하에서는 양자 에이전트와 고전적 에이전트가 동일한 역사를 생성한다는 것을 증명함으로써, 양자 이점이 특정 테스터 및 환경 조건에서만 가능하다는 것을 확인한다.
• 논문은 고전적 테스팅 하에서 양자 상태가 고전적 시뮬레이션과 등가인 방식으로 진화한다는 형식적 귀납적 증명을 수립하며, 이러한 환경에서는 양자 가속이 불가능하다는 것을 입증한다.