[논문 리뷰] Implicit MLE: Backpropagating Through Discrete Exponential Family Distributions

Mathias Niepert, Pasquale Minervini외 1명|arXiv (Cornell University)|2021. 06. 03.

Machine Learning and Algorithms인용 수 16

한 줄 요약

이 논문은 손실 함수와 가장 가능성이 높은 상태로부터 유도된 목표 분포를 통해 기울기를 근사함으로써 이산 지수족 분포를 통해 역전파를 수행할 수 있는 일반 목적의 프레임워크인 암묵적 최대우도추정(I-MLE)을 제안한다. I-MLE는 직선 통과 추정기와 같은 기준 방법보다 우수하며, 특히 편향-최대우도 샘플링을 위한 새로운 합의 감마(소그) 노이즈 분포를 사용할 경우, 리라크스레이션 기반 방법과 경쟁 가능하다.

ABSTRACT

Combining discrete probability distributions and combinatorial optimization problems with neural network components has numerous applications but poses several challenges. We propose Implicit Maximum Likelihood Estimation (I-MLE), a framework for end-to-end learning of models combining discrete exponential family distributions and differentiable neural components. I-MLE is widely applicable as it only requires the ability to compute the most probable states and does not rely on smooth relaxations. The framework encompasses several approaches such as perturbation-based implicit differentiation and recent methods to differentiate through black-box combinatorial solvers. We introduce a novel class of noise distributions for approximating marginals via perturb-and-MAP. Moreover, we show that I-MLE simplifies to maximum likelihood estimation when used in some recently studied learning settings that involve combinatorial solvers. Experiments on several datasets suggest that I-MLE is competitive with and often outperforms existing approaches which rely on problem-specific relaxations.

연구 동기 및 목표

• 표준 역전파가 비가역적이거나 불연속적인 출력으로 인해 실패하는 이산 잠재 변수나 조합 최적화 구성 요소를 가진 신경망을 훈련하는 데 발생하는 과제를 해결하기 위해.
• 문제에 특화된 리라크스레이션을 피하고 전체 확률 분포 추론이나 충실한 샘플링이 필요하지 않은 일반 목적의 학습 프레임워크를 개발하기 위해.
• 특히 조합 최적화 솔버나 이산 잠재 변수를 포함하는 설정에서, 이산 지수족 분포와 미분 가능한 신경망 성분을 조합한 모델의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 가장 가능성이 높은 상태(MAP 추론) 계산 능력에만 의존함으로써 기울기 계산을 단순화하여, 이는 방법의 확장성과 광범위한 적용 가능성을 높이기 위함이다.

제안 방법

• I-MLE는 전방 전파 동안 관측된 가장 가능성이 높은 상태의 경험적 분포를 근사하기 위해 목표 분포 $ q $ 를 구성함으로써 기울기를 계산한다.
• 이 프레임워크는 노이즈를 매개변수에 추가하여 샘플을 생성하고, 편향-최대우도 전략을 통해 기울기를 추정하는 편향 기반 암묵적 미분을 사용한다.
• Gumbel-max 샘플링에서 마진을 더 잘 근사하기 위해, 새로운 합의 감마(소그) 노이즈 분포 가족을 도입한다.
• 두 가지 유형의 목표 분포를 제안한다: 하나는 MAP 해에 기반한 (M-M), 다른 하나는 손실 가중 분포의 평균에 기반한 (μ-μ), 둘 다 암묵적 기울기 추정기 정의에 사용된다.
• 이 방법은 부드러운 리라크스레이션을 피하고 전체 확률 분포에 대한 액세스가 필요 없으며, 오직 MAP 추론과 손실 피드백에 의존한다.
• I-MLE는 조합 최적화 솔버를 포함하는 특정 설정에서 표준 최대우도 추정으로 축소됨을 보여주어 이론적 일致성을 입증한다.

실험 결과

연구 질문

• RQ1 문제에 특화된 부드러운 리라크스레이션이나 기울기 근사에 의존하지 않고, 이산 성분을 포함하는 하이브리드 신경망 모델을 훈련시킬 수 있는가?
• RQ2 기울기가 거의 곳 곳에서 0인 경우, 이산 지수족 분포를 통해 효과적으로 기울기를 역전파할 수 있는가?
• RQ3 이산 잠재 변수 모델에서 편향-최대우도 샘플링을 위한 노이즈 분포 중 어떤 것이 더 나은 기울기 추정을 제공하는가?
• RQ4 I-MLE는 Gumbel-Softmax와 같은 리라크스레이션 기반 방법과 비교해 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ5 I-MLE는 최단 경로 계산과 같은 블랙박스 조합 최적화 솔버를 포함하는 모델의 효과적인 엔드 투 엔드 훈련을 가능하게 하는가?

주요 결과

• I-MLE는 이산 VAE에서 직선 통과 추정기(Ste)보다 유의미하게 뛰어나며, 10-서브셋 및 1-서브셋 작업에서 더 낮은 테스트 손실을 기록한다.
• I-MLE에서 합의 감마(소그) 노이즈 분포를 사용하면, 더 높은 분산을 보일지라도 10-서브셋 VAE에서 Gumbel-Softmax보다 낮은 테스트 손실을 기록한다.
• 워크래프트 최단 경로 작업에서, μ-μ 목표 분포를 사용한 I-MLE는 K=12일 때 97.2%의 정확도를 달성하여 BB 및 DPO 방법을 능가한다.
• μ-μ 설정을 사용한 I-MLE는 K=30일 때 93.7%의 정확도를 기록하여, 모든 격자 크기에서 BB 및 DPO의 성능을 matching하거나 초월한다.
• 훈련 동역학에서 더 빠른 수렴을 보이며, 기준 방법 대비 개선된 최적화 안정성을 시사한다.
• 조합 최적화 솔버를 포함하는 설정에서 I-MLE는 명시적 최대우도 추정으로 단순화되며, 이는 이론적 일치성을 확인한다.