[논문 리뷰] Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration

Hanjun Dai, Rishabh Singh외 3명|arXiv (Cornell University)|2020. 01. 01.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 국소 탐색을 모방하는 학습된 샘플러를 사용하여 이산 에너지 기반 모델(EBM)을 훈련하는 ALOE를 제안한다. 이 방법은 변분적 힘 반복을 통해 효율적인 기울기 추정을 가능하게 하며, 구조적 예측 작업에서 최신 기술 수준의 성능을 달성한다. 특히 소프트웨어 테스팅에서 libfuzzer의 효과성과 맞먹는 신경 기반 퍼지어를 구현한다.

ABSTRACT

Discrete structures play an important role in applications like program language modeling and software engineering. Current approaches to predicting complex structures typically consider autoregressive models for their tractability, with some sacrifice in flexibility. Energy-based models (EBMs) on the other hand offer a more flexible and thus more powerful approach to modeling such distributions, but require partition function estimation. In this paper we propose ALOE, a new algorithm for learning conditional and unconditional EBMs for discrete structured data, where parameter gradients are estimated using a learned sampler that mimics local search. We show that the energy function and sampler can be trained efficiently via a new variational form of power iteration, achieving a better trade-off between flexibility and tractability. Experimentally, we show that learning local search leads to significant improvements in challenging application domains. Most notably, we present an energy model guided fuzzer for software testing that achieves comparable performance to well engineered fuzzing engines like libfuzzer.

연구 동기 및 목표

• 분할 함수 추정이 비가역적인 이산 구조적 데이터에서 에너지 기반 모델을 훈련하는 데 도전하는 것.
• 복잡한 이산 분포를 모델링할 때 계산 가능성을 유지하면서도 자동회귀 모델에 비해 더 높은 유연성을 제공하는 것.
• 효과적인 기울기 추정을 가능하게 하는 기울기 가능하고 국소 탐색을 모방하는 샘플러를 개발하는 것.
• 변분적 힘 반복 프레임워크를 사용하여 에너지 함수와 샘플러를 종합적으로 훈련하는 것.
• 실세계 응용 분야인 프로그램 언어 모델링과 소프트웨어 퍼지잉에서 방법의 효과성을 입증하는 것.

제안 방법

• 이산 공간에서 이웃 상태를 탐색함으로써 국소 탐색을 모방하는 학습된 샘플러를 제안하여 기울기 추정을 위한 효율적 샘플링을 가능하게 한다.
• 에너지 함수와 샘플러를 동시에 최적화하기 위해 변분적 힘 반복의 형태를 도입하여 훈련의 안정성과 수렴성을 향상시킨다.
• 학습된 샘플러를 사용한 중요도 샘플링을 통해 분할 함수의 기울기 가능 근사치를 이용하여 기울기를 추정한다.
• 샘플러의 탐색 능력을 활용한 변분 하한을 사용하여 에너지 함수와 샘플러를 종합적으로 훈련시킨다.
• 유효한 구조에는 낮은 에너지, 불량한 구조에는 높은 에너지를 유도하는 대비 학습 목표를 적용한다.
• 무조건적 및 조건부 모델링 모두에 프레임워크를 적용하여 구조 생성 및 퍼지어 가이드와 같은 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 분할 함수 계산이 필요 없이 학습된 국소 탐색 샘플러가 이산 에너지 기반 모델에서 기울기를 효과적으로 추정할 수 있는가?
• RQ2 제안된 변분적 힘 반복 프레임워크가 에너지 함수와 샘플러의 안정적이고 효율적인 공동 훈련을 가능하게 하는가?
• RQ3 ALOE는 프로그램과 같은 복잡한 이산 구조를 모델링할 때 자동회귀 모델에 비해 어떻게 성능을 냅니다?
• RQ4 훈련된 EBM이 libfuzzer와 같은 수작업으로 설계된 도구만큼 취약점을 효과적으로 발견할 수 있는가?
• RQ5 샘플러에서의 국소 탐색이 이산 EBM 학습에서 샘플 품질과 훈련 효율성 향상에 얼마나 기여하는가?

주요 결과

• ALOE는 프로그램 언어 모델링에서 경쟁력 있는 성능을 달성하여 자동회귀 기준선보다 유효하고 다양한 코드 시퀀스 생성에서 뛰어난 성능을 보였다.
• 학습된 샘플러는 국소 구조적 의존성을 효과적으로 포착하여 명시적 정규화 없이도 고품질의 샘플링을 가능하게 했다.
• 변분적 힘 반복 방법은 에너지 함수와 샘플러의 안정적 훈련을 가능하게 하여 훈련 발산을 감소시켰다.
• 소프트웨어 퍼지잉에서 EBM 가이드 퍼지어는 libfuzzer의 성능을 따라잡아 실용적 유용성을 입증했다.
• 이산 데이터 기반 표준 EBM 훈련 기준선 대비 샘플 품질과 훈련 효율성에서 뚜렷한 향상을 달성했다.
• 이 방법은 코드 생성 및 취약점 탐지와 같은 다양한 이산 구조적 도메인에 일반화 가능했다.