[論文レビュー] Kernel Learning by quantum annealer

Yasushi Hasegawa, Hiroki Oshiyama+1 more|arXiv (Cornell University)|Apr 20, 2023

Machine Learning and ELM被引用数 5

ひとこと要約

本論文は、量子アニーリング機を用いて制限ボルツマンマシン（RBM）を訓練する、スペクトル分布のデータ適応的近似を可能にする、新しいカーネル学習手法を提案する。この手法により、ガウス分布に匹敵する分類精度を達成しながら、より表現力の高い非ガウス的かつ多峰性のスペクトル分布を生成できる。

ABSTRACT

The Boltzmann machine is one of the various applications using quantum annealer. We propose an application of the Boltzmann machine to the kernel matrix used in various machine-learning techniques. We focus on the fact that shift-invariant kernel functions can be expressed in terms of the expected value of a spectral distribution by the Fourier transformation. Using this transformation, random Fourier feature (RFF) samples the frequencies and approximates the kernel function. In this paper, furthermore, we propose a method to obtain a spectral distribution suitable for the data using a Boltzmann machine. As a result, we show that the prediction accuracy is comparable to that of the method using the Gaussian distribution. We also show that it is possible to create a spectral distribution that could not be feasible with the Gaussian distribution.

研究の動機と目的

• 量子アニーリングを用いて、データに適応したスペクトル分布を学習するカーネル学習フレームワークの開発。
• ランダムフーリエ特徴量における固定スペクトル分布（例：ガウス分布）の制限を克服すること。
• 量子アニーリング機のギブス＝ボルツマン分布サンプリング機能を活用し、RBMの訓練をより高速かつ効率的に行うこと。
• 量子アニーリング機がカーネル学習のための高速サンプリング装置として機能できることを示すこと。
• 量子アニーリング機がカーネル手法における複雑な非ガウス的スペクトル分布の生成に果たす可能性の探求。

提案手法

• ランダムフーリエ特徴量（RFF）のスペクトル分布をモデル化するために、マルチレイヤー制限ボルツマンマシン（RBM）が用いられる。
• RBMは、自然にギブス＝ボルツマン分布に従うD-Wave量子アニーリング機からのサンプルを用いて訓練される。
• スペクトル分布は、実測データ分布とモデルのギブス＝ボルツマン分布との間のカルバック・ライブラー発散を最小化することで学習される。
• 量子アニーリング機からのサンプルを用いてカーネル関数の期待値を近似することで、計算コストを削減する。
• 本手法により、従来のガウス分布RFFでは実現不可能な、非ガウス的で多峰性のスペクトル分布（例：二峰性）の学習が可能になる。
• 学習されたスペクトル分布を用いてカーネル行列を更新することで、分類性能の向上が達成される。

実験結果

リサーチクエスチョン

• RQ1 量子アニーリング機は、カーネル手法におけるデータ適応的スペクトル分布の学習のためのRBM訓練に有効に利用できるか？
• RQ2 提案手法の予測精度は、ガウス分布RFFと比較してどの程度か？
• RQ3 提案手法は、ガウス分布よりも高い自由度を持つスペクトル分布を生成できるか？
• RQ4 RBMの隠れ層サイズは、学習されたスペクトル分布の表現力にどのような影響を及えるか？
• RQ5 量子アニーリング機の量子的性質は、古典的サンプリングを越えて、カーネル学習にどのように活用できるか？

主な発見

• 提案手法は、T-shirt/Trouserでテストセット分類精度0.989、T-shirt/Pulloverで0.957、Trouser/Pulloverで0.988を達成し、ガウス分布を用いたベースラインRFFを上回った。
• すべてのデータセットにおいて、カーネル学習による損失関数の最適化が、ガウスRFFベースラインよりも速く、より低い値に収束した。
• カーネル学習により学習されたωのスペクトル分布は、単峰性のガウス分布とは異なり、二峰性の構造を示しており、より高い表現力が裏付けられた。
• 訓練後のカーネル行列は、クラス内類似度（同じクラスのペアのk(xi,xj)が高くなる）が強化され、クラス間類似度が弱体化しており、分離性が向上した。
• 量子アニーリング機からのサンプルが、RBM訓練におけるモンテカルロ推定の代替として効果的に機能することが示された。これにより、複雑なスペクトル分布の高速学習が可能になった。
• 本手法は、ガウスRFFでは実現不可能なスペクトル分布の生成に成功し、利用可能なカーネル関数の範囲を拡張した。