[論文レビュー] Black-box optimization for integer-variable problems using Ising machines and factorization machines

Yuya Seki, Ryo Tamura+1 more|arXiv (Cornell University)|Sep 1, 2022

Metaheuristic Optimization Algorithms Research被引用数 8

ひとこと要約

本稿では、イジングマシンと3種類の整数符号化法（2進数符号化、ワンホット符号化、ドメインウォール符号化）を用いて整数変数問題のブラックボックス最適化を可能にする、アニーリングを施した因子分解マシン（FMA）フレームワークを提案する。サーヴェイモデルをQUBO問題として定式化することで、FMAはシミュレーテッドアニーリングを活用し、探索空間を効率的に探索し、水素分子の基底状態エネルギーを高い精度で推定することに成功した。特にワンホット符号化は小スケール問題において顕著な有望性を示した。

ABSTRACT

Black-box optimization has potential in numerous applications such as hyperparameter optimization in machine learning and optimization in design of experiments. Ising machines are useful for binary optimization problems because variables can be represented by a single binary variable of Ising machines. However, conventional approaches using an Ising machine cannot handle black-box optimization problems with non-binary values. To overcome this limitation, we propose an approach for integer-variable black-box optimization problems by using Ising/annealing machines and factorization machines in cooperation with three different integer-encoding methods. The performance of our approach is numerically evaluated with different encoding methods using a simple problem of calculating the energy of the hydrogen molecule in the most stable state. The proposed approach can calculate the energy using any of the integer-encoding methods. However, one-hot encoding is useful for problems with a small size.

研究の動機と目的

• 従来のイジングマシン手法が非2値変数制約のため処理できない整数変数問題へのブラックボックス最適化の拡張を目的とする。
• 因子分解マシンにアニーリングを組み合わせたFMAフレームワーク内での、2進数符号化、ワンホット符号化、ドメインウォール符号化の3種類の整数符号化方式の性能を評価することを目的とする。
• シミュレーテッドアニーリングを量子アニーリングの代わりに用いることで符号化効果を明確に分離し、整数変数ブラックボックス最適化問題におけるFMAのスケーラビリティと精度を評価することを目的とする。
• 特に探索空間の次元が増加する際の性能劣化という、現在のFMAアプローチの限界を特定することを目的とする。

提案手法

• 本手法は、ブラックボックス関数のためのサーヴェイモデルとして2値変数を用いた因子分解マシン（FM）を用い、イジングマシンと互換性のあるQUBO問題として定式化する。
• 整数変数は、2進数符号化、ワンホット符号化、ドメインウォール符号化という3通りの異なる方法で2値変数に符号化され、それぞれ1つの整数変数が複数の2値変数にマッピングされる。
• 符号化制約を満たすためにQUBOハミルトニアンにペナルティ項を追加し、妥当性を保証するためペナルティ係数を p = 1,000 に設定する。
• サーヴェイモデルのエネルギーを最小化するために、ビット反転によるエネルギー差の上界に基づいて慎重に調整されたアニーリングスケジュールを用いたシミュレーテッドアニーリング（SA）が用いられる。
• サーヴェイモデルのエネルギーを最小化することで、ブラックボックス関数における低コスト解の探索を導く。最終的な解は元の整数空間に再マッピングされる。
• フレームワークは、解析的に解けるシンプルな系として、水素分子の基底状態エネルギーの計算というベンチマーク問題を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 2進数符号化、ワンホット符号化、ドメインウォール符号化という異なる整数符号化法は、整数変数ブラックボックス最適化におけるFMAの性能にどのように影響を与えるか？
• RQ2 ブラックボックス関数が未知である場合、イジングマシンとシミュレーテッドアニーリングを用いたFMAは、整数変数問題において高精度な解を得られるか？
• RQ3 探索空間の次元が増加するに従い、異なる符号化法を用いたFMAの性能にどのような影響が生じるか？
• RQ4 小スケール問題において、ワンホット符号化は2進数符号化やドメインウォール符号化に比べ、収束性と精度の面で優位性を示すか？
• RQ5 ペナルティ係数とアニーリングスケジュールは、異なる符号化方式において最適化プロセスの安定化に果たす役割は何か？

主な発見

• 提案されたFMAフレームワークは、3種類の整数符号化法すべてを用いて、水素分子の基底状態エネルギーを高い精度で正しく計算できた。
• ワンホット符号化は小スケール問題において優れた性能を示し、より少ない最適化の困難さで正確な結果を達成した。
• 探索空間の次元が増加するに従い、性能劣化が観察された。特にワンホット符号化ではエネルギー誤差が顕著に増加した。
• ブラックボックス関数の呼び出し回数は次元の増加に伴い著しく増加したが、エネルギー誤差の低減はわずかであった。
• 量子アニーリングではなくシミュレーテッドアニーリングを用いることで、符号化効果を明確に分離でき、性能劣化が符号化法と探索空間サイズそのものに起因することを確認した。
• 各符号化法について、ビット反転によるエネルギー差の上界を解析的に導出し、効果的なアニーリングスケジュールの設計を可能にした。