[논문 리뷰] LP-SparseMAP: Differentiable Relaxed Optimization for Sparse Structured Prediction

Vlad Niculae, André F. T. Martins|arXiv (Cornell University)|2020. 01. 13.

Tensor decomposition and applications참고 문헌 61인용 수 4

한 줄 요약

LP-SparseMAP는 요소 그래프를 사용한 국소 폴리토프 근사화를 통해 정확한 MAP 추론이 불가능한 구조적 모델을 다룰 수 있도록 확장된, 미분 가능하고 완화된 최적화 프레임워크를 제안한다. 이는 ADMM와 닫힌 형식의 기울기 계산을 통해 효율적인 전방 및 역방향 전파를 가능하게 하며, 복잡한 제약 조건이 있는 의존성 파싱, 자연어 추론, 다중 레이블 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Structured prediction requires manipulating a large number of combinatorial structures, e.g., dependency trees or alignments, either as latent or output variables. Recently, the SparseMAP method has been proposed as a differentiable, sparse alternative to maximum a posteriori (MAP) and marginal inference. SparseMAP returns a combination of a small number of structures, a desirable property in some downstream applications. However, SparseMAP requires a tractable MAP inference oracle. This excludes, e.g., loopy graphical models or factor graphs with logic constraints, which generally require approximate inference. In this paper, we introduce LP-SparseMAP, an extension of SparseMAP that addresses this limitation via a local polytope relaxation. LP-SparseMAP uses the flexible and powerful domain specific language of factor graphs for defining and backpropagating through arbitrary hidden structure, supporting coarse decompositions, hard logic constraints, and higher-order correlations. We derive the forward and backward algorithms needed for using LP-SparseMAP as a hidden or output layer. Experiments in three structured prediction tasks show benefits compared to SparseMAP and Structured SVM.

연구 동기 및 목표

• 정확한 MAP 추론이 불가능한 모델, 예를 들어 논리 제약 조건이나 순환적인 구조를 가진 모델에서, 다양한 제약 조건을 가진 구조적 예측의 미분 가능성을 보장하는 것.
• 국소 폴리토프 근사화를 활용해 SparseMAP 프레임워크를 표현력 있고 제약 조건이 있는 구조적 모델에 확장하는 것.
• 신경망에 통합 가능한 효율적이고 모듈화된, 종단 간 학습이 가능한 구조적 히든 레이어를 제공하는 것.
• 전방 전파와 압축된 역방향 전파를 위한 전역 수렴 보장이 있는 ADMM 알고리즘을 유도하는 것. 이는 계산 그래프 전개 없이도 가능하도록 한다.
• MAP 오라클만 요구하는 일반화된 인터페이스를 통해 다양한 요소 유형(예: 예산, OR, 부정)을 지원하는 것.

제안 방법

• LP-SparseMAP는 정확한 MAP 추론이 불가능한 모델에서 미분 가능한 추론을 가능하게 하기 위해 국소 폴리토프 위에서 완화된 최적화 문제로 구조적 예측을 재정의한다.
• 복잡한 종속성, 제약 조건(예: 예산, 차수 제약), 고차원 상관관계를 모델링하기 위해 요소 그래프 표현을 사용한다.
• 전방 전파에서는 전역 수렴 보장을 갖는 ADMM 알고리즘을 활용하여 완화된 이중 문제를 효율적으로 해결한다.
• 역방향 전파에서는 전방 전파에서 얻은 양을 재사용하는 간결한 닫힌 형식의 표현식을 사용하여 ADMM 반복 과정을 거쳐 기울기를 계산하는 백프로파게이션을 피한다.
• 새로운 요소 유형은 단지 MAP 오라클만 요구하는 일반화된 인터페이스를 통해 통합되며, 즉시 적용 가능한 확장성을 제공한다.
• 일반적인 요소들(예: 이원 조합, 논리 OR, 부정, 예산)을 위한 전용 솔버를 도출하여 효율성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 정확한 MAP 문제를 다루는 복잡한 제약 조건이 있는 모델에 대해, 미분 가능한 구조적 예측 방법을 설계할 수 있는가?
• RQ2 SparseMAP 프레임워크는 순환적인 그래픽 모델이나 논리 제약 조건이 있는 모델처럼 근사 추론이 필요한 모델로 확장될 수 있는가?
• RQ3 완화된 구조적 예측을 위한 전역 수렴 보장이 있는 ADMM 기반의 효율적인 전방 전파 알고리즘을 도출할 수 있는가?
• RQ4 계산 그래프 전개 없이도 역방향 전파를 닫힌 형식으로 계산할 수 있는가?
• RQ5 제안된 방법은 구조적 잠재 변수를 가진 종단 간 학습에서 기존 방법들인 SparseMAP와 Structured SVM를 능가하는가?

주요 결과

• LP-SparseMAP는 산술 표현식 파싱에서 잠재 의존성 트리를 유도하는 데 최신 기술 수준의 성능을 달성하며, SparseMAP와 Structured SVM를 능가한다.
• 자연어 추론 작업에서는 제약 조건이 있는 파싱을 사용한 LP-SparseMAP가 기준 모델 대비 F1 점수를 향상시키며, 특히 엄격한 논리 제약 조건 하에서 두드러진 성능 향상을 보였다.
• bibtex와 bookmarks 등의 다중 레이블 분류 작업에서, LP-SparseMAP는 복잡한 레이블 상관관계가 있는 경우 LP-MAP와 SparseMAP보다 높은 F1 점수와 정확도를 기록했다.
• 이 방법은 수렴 안정성과 효율성을 입증하였으며, 10~100회의 ADMM 반복 내에 원시 및 이중 허용 오차 1e-6로 수렴하였다.
• 역방향 전파에서는 자동 미분을 통한 ADMM 루프 전개 없이도 100회의 파wer 반복만으로 정확한 기울기를 도출하였다.
• 라이브러리 구현은 C++와 Python을 지원하며, MAP 오라클 인터페이스를 통해 새로운 요소 유형의 모듈식 통합을 가능하게 하였다.