[論文レビュー] Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration

Hanjun Dai, Rishabh Singh+3 more|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Data Classification被引用数 2

ひとこと要約

本稿では、局所探索を模倣する学習済みサンプラーを用いて離散エネルギー関数モデル（EBM）を訓練する手法ALOEを提案する。この手法により、変分的パワー反復を用いた効率的な勾配推定が可能となり、構造予測タスクにおいて最先端の性能を達成する。特に、ソフトウェアテストにおけるニューラルファズァーとしてlibfuzzerと同等の有効性を示した。

ABSTRACT

Discrete structures play an important role in applications like program language modeling and software engineering. Current approaches to predicting complex structures typically consider autoregressive models for their tractability, with some sacrifice in flexibility. Energy-based models (EBMs) on the other hand offer a more flexible and thus more powerful approach to modeling such distributions, but require partition function estimation. In this paper we propose ALOE, a new algorithm for learning conditional and unconditional EBMs for discrete structured data, where parameter gradients are estimated using a learned sampler that mimics local search. We show that the energy function and sampler can be trained efficiently via a new variational form of power iteration, achieving a better trade-off between flexibility and tractability. Experimentally, we show that learning local search leads to significant improvements in challenging application domains. Most notably, we present an energy model guided fuzzer for software testing that achieves comparable performance to well engineered fuzzing engines like libfuzzer.

研究の動機と目的

• 分割関数の推定が困難である離散的構造データ上でのエネルギー関数モデルの訓練という課題に取り組む。
• 複雑な離散分布をモデル化する際の計算の tractability を維持しつつ、自己回帰モデルよりも柔軟性を高める。
• 効果的な勾配推定を可能にする、微分可能で局所探索を模倣したサンプラーを開発する。
• 変分的パワー反復フレームワークを用いて、エネルギー関数とサンプラーのエンドツーエンド訓練を可能にする。
• 本手法の実世界応用、たとえばプログラム言語モデリングやソフトウェアファズィングにおける有効性を示す。

提案手法

• 離散空間における隣接状態の探索を模倣する学習済みサンプラーを提案し、勾配推定のための効率的なサンプリングを可能にする。
• エネルギー関数とサンプラーの共同最適化を促進するため、パワー反復の変分的表現を導入し、訓練の安定性と収束性を向上させる。
• 学習済みサンプラーを用いた重要度サンプリングによる分割関数の微分可能近似を用いて勾配を推定する。
• サンプラーの探索能力を活用した変分的下界を用いて、エネルギー関数とサンプラーをエンドツーエンドで訓練する。
• 有効な構造に対してはエネルギーを低く、無効な構造に対してはエネルギーを高くするように促す対照的学習の目的関数を採用する。
• 無条件および条件付きモデリングの両方への適用を可能とし、構造生成やファズァー誘導といった応用を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的な分割関数計算を必要とせずに、学習済みの局所探索サンプラーが離散エネルギー関数モデルにおける勾配推定を効果的に行えるか。
• RQ2 提案された変分的パワー反復フレームワークが、エネルギー関数とサンプラーの安定的かつ効率的な共同訓練を可能にするか。
• RQ3 ALOEは、プログラムのような複雑な離散構造をモデル化する際、自己回帰モデルと比較して優れた性能を示すか。
• RQ4 訓練済みのEBMが、libfuzzerのような手作業で設計されたツールと同等の脆弱性発見能力を持つファズァーを誘導できるか。
• RQ5 サンプラーにおける局所的探索が、離散EBM学習におけるサンプル品質と訓練効率をどの程度向上させるか。

主な発見

• ALOEは、有効で多様なコードシーケンスの生成において、自己回帰ベースラインを上回る競争力のある性能を達成した。
• 学習済みサンプラーは、明示的な正規化を必要とせずに、局所的構造的依存関係を効果的に捉え、高品質なサンプリングを可能にした。
• 変分的パワー反復法により、エネルギー関数とサンプラーの両方の安定した訓練が実現され、訓練の発散が低減された。
• ソフトウェアファズィングの分野では、EBMに誘導されたファズァーがlibfuzzerと同等のバグ発見性能を示し、実用的価値を示した。
• 離散データにおける標準的なEBM学習ベースラインと比較して、サンプル品質と訓練効率の両面で顕著な改善が得られた。
• 本手法は、コード生成や脆弱性発見といった異なる離散的構造的ドメインに一般化可能であることが示された。