[논문 리뷰] Contextuality and inductive bias in quantum machine learning

Joseph E. Bowles, Victoria J Wright외 3명|arXiv (Cornell University)|2023. 02. 02.

Quantum Computing Algorithms and Architecture인용 수 9

한 줄 요약

본 논문은 양자 맥락성(contextuality)을 머신러닝의 유도 편향(inductive bias)과 연결하는 일반 프레임워크를 개발하고, 맥락적 다중태스크 모델을 정의하며, 맥락성이 표현력을 향상시킬 수 있음을 보이고, toy 설정에서 양자 모델이 고전 대리자를 인코딩하는 선형 보존 레이블 편향을 통해 능가할 수 있음을 보여준다.

ABSTRACT

Generalisation in machine learning often relies on the ability to encode structures present in data into an inductive bias of the model class. To understand the power of quantum machine learning, it is therefore crucial to identify the types of data structures that lend themselves naturally to quantum models. In this work we look to quantum contextuality -- a form of nonclassicality with links to computational advantage -- for answers to this question. We introduce a framework for studying contextuality in machine learning, which leads us to a definition of what it means for a learning model to be contextual. From this, we connect a central concept of contextuality, called operational equivalence, to the ability of a model to encode a linearly conserved quantity in its label space. A consequence of this connection is that contextuality is tied to expressivity: contextual model classes that encode the inductive bias are generally more expressive than their noncontextual counterparts. To demonstrate this, we construct an explicit toy learning problem -- based on learning the payoff behaviour of a zero-sum game -- for which this is the case. By leveraging tools from geometric quantum machine learning, we then describe how to construct quantum learning models with the associated inductive bias, and show through our toy problem that they outperform their corresponding classical surrogate models. This suggests that understanding learning problems of this form may lead to useful insights about the power of quantum machine learning.

연구 동기 및 목표

• 양자 유도 편향을 자연스럽게 활용하는 데이터 구조를 찾으려는 동기를 제시한다.
• 머신러닝에서 일반화된 맥락성의 프레임워크와 맥락 학습 모델의 개념을 정의한다.
• 맥락성, 작동적 등가성, 그리고 유도 편향을 표현력 및 학습 성능과 연결한다.
• 맥락성이 비맥락적 모델을 제약하고 양자 접근을 필요로 할 수 있는 데이터 구성들을 식별한다.
• 편향을 인코딩하는 양자 모델이 고전적 대리모들을 능가할 수 있음을 toy 문제를 통해 보여준다.

제안 방법

• 학습 모델을 위한 일반화된 맥락성(작동적 통계, 준비, 효과)의 프레임워크를 도입한다.
• 다중 태스크 학습을 위한 작동적 시나리오를 정의하고 온톨로지적 모델을 통해 비맥락성을 형식화한다.
• 레이블 공간의 선형 보존 편향과 비맥락 학습 가능 분포에 대한 제약을 연결하는 주된 결과를 확립한다.
• 유도 편향을 인코딩하는 두 가지 양자 어댑트 스킴: 상태 기반과 측정 기반 접근법을 설명한다.
• 비맥락 모델의 표현력 한계를 증명하기 위해 바위–가위–보 문제를 이용한 toy 문제를 구성한다.
• 기하학적 양자 기계 학습 도구를 사용해 편향과 일치하는 양자 모델을 설계하고 이를 고전적 대리모와 비교한다.]
• =

Figure 1: A. An example of the type of learning problem we consider in this work. Labels are generated for input training data $\boldsymbol{x}_{i}$ via a conditional process $P(\boldsymbol{y}_{i}|\boldsymbol{x}_{i})$ . Here, the labels take the form $\boldsymbol{y}_{i}=(y_{i}^{(1)},y_{i}^{(2)},y_{i}

실험 결과

연구 질문

• RQ1 머신러닝에서 학습 모델을 위한 적절한 맥락성의 개념은 무엇인가?
• RQ2 레이블 공간에 선형 보존 법칙을 인코딩하는 유도 편향이 비맥락 모델의 표현력에 어떤 영향을 미치는가?
• RQ3 맥락성 기반의 유도 편향을 가진 양자 모델이 구조화된 작업에서 고전적 대리모에 비해 일반화가 우수한가?
• RQ4 맥락성에서 영감을 받은 편향이 학습의 정확한 수행에 필요한 자원으로서 어떤 학습 시나리오에서 나타나는가?

주요 결과

• 맥락성은 표현력과 연관되어 있다: 유도 편향을 인코딩하는 맥락적 모델 계열이 비맥락적보다 표현력이 더 큰 경향이 있다.
• 레이블 공간의 선형 보존량은 작동적 등가성을 부여하여 비맥락 모델에 제약을 가하고 일반화에 한계를 둘 수 있다.
• 토이 록–가위–보 문제는 학습 보상 행태에 대한 비맥락 모델의 표현력 한계를 정확히 보여준다.
• 편향을 상태 구조나 측정 설계를 통해 인코딩하는 양자 학습 모델은 toy 과제에서 해당하는 고전적 대리모보다 성능이 더 좋을 수 있다.
• 정규화를 고려한 상황에서 맥락성에서 영감을 받은 편향을 가진 양자 모델이 고전적 대리모보다 일반화 오차를 더 낮추는 수치를 보이는 수치적 근거가 있다.

Figure 2: A. (top) A prepare-and-measure scenario. A preparation S is a procedure (a list of actions) that a user carries out. In this example, the procedure is to input the data $\boldsymbol{x}$ into the machine learning model. (bottom) An effect E is another procedure that additionally has an obse