[논문 리뷰] Bethe Projections for Non-Local Inference

Luke Vilnis, David Belanger외 2명|arXiv (Cornell University)|2015. 03. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 보테 엔트로피를 거리 생성 함수로 사용하는 비유클리드 투영 경사 하강법인 베테 투영(Bethe Projections)을 소개한다. 이 방법은 근사적이고 빠른 추론을 가능하게 하여, 근접 분포 위에 비국소적이고 비볼록 에너지 함수를 학습함으로써 구조적 예측에서 처리 가능한 추론을 가능하게 한다. 이는 보테 엔트로피를 거리 생성 함수로 사용하는 타당한 수렴성 보장이 있는 최적화와 분류 학습을 결합함으로써 인용 추출, 수기 인식, 집합적 그래픽 모델에서 최신 기준 성능을 달성한다.

ABSTRACT

Many inference problems in structured prediction are naturally solved by augmenting a tractable dependency structure with complex, non-local auxiliary objectives. This includes the mean field family of variational inference algorithms, soft- or hard-constrained inference using Lagrangian relaxation or linear programming, collective graphical models, and forms of semi-supervised learning such as posterior regularization. We present a method to discriminatively learn broad families of inference objectives, capturing powerful non-local statistics of the latent variables, while maintaining tractable and provably fast inference using non-Euclidean projected gradient descent with a distance-generating function given by the Bethe entropy. We demonstrate the performance and flexibility of our method by (1) extracting structured citations from research papers by learning soft global constraints, (2) achieving state-of-the-art results on a widely-used handwriting recognition task using a novel learned non-convex inference procedure, and (3) providing a fast and highly scalable algorithm for the challenging problem of inference in a collective graphical model applied to bird migration.

연구 동기 및 목표

• 고트리위드가 높아져 추론이 비가역적이 되는 그래픽 모델의 전역 상관관계를 포착하지 못하는 한계를 해결하기 위해.
• 국소 클리크와 선형 제약 조건을 초월하는 복잡한 비국소 추론 목표 함수를 분류 학습으로 가능하게 하기 위해.
• 구조적 예측에서 볼록 및 비볼록 비국소 에너지 함수를 통합하고 효율적인 프레임워크로 제공하기 위해.
• 내부점 해법의 대체로 빠른 프록시멀 경사 하강법을 사용하여 집합적 그래픽 모델(CGMs)의 추론을 확장하기 위해.

제안 방법

• 표준 근사 분포 추론에 비선형 매개변수 함수 $ L_{\boldsymbol{\psi}}(\boldsymbol{\mu}) $ 를 근사 분포 벡터 $ \boldsymbol{\mu} $ 에 적용하여 비볼록 추론 목표 함수를 제안함으로써 전역 규칙성을 가능하게 한다.
• 보테 엔트로피를 거리 생성 함수로 사용하는 비유클리드 투영 경사 하강법을 사용하여 원천 타당성을 유지하고 수렴성을 보장한다.
• 비볼록 $ L_{\boldsymbol{\psi}} $ 에서는 국소 최적점으로의 수렴이 증명되어 있으며, 볼록 $ L_{\boldsymbol{\psi}} $ 에서는 전역 최적점으로의 수렴이 보장된다.
• 각 반복에서 보테 엔트로피를 사용한 투영 단계를 포함하는 프록시멀 경사 하강 프레임워크를 활용하여 효율적인 최적화를 가능하게 한다.
• 블랙박스 추론 서브루틴을 워핑하여 모듈러하고 쉽게 구현 가능한 방법을 제공한다.
• 확장된 목표 함수를 근사 베이지안 추론으로 간주함으로써 $ \boldsymbol{\theta} $ 와 $ \boldsymbol{\psi} $ 의 분류 학습을 지원한다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않고도 전역 일관성을 강제하는 표현력 있는 비국소 추론 목표 함수를 학습할 수 있는가?
• RQ2 비볼록이고 비국소적 제약 조건을 구조적 예측에 통합하면서도 처리 가능한 추론을 유지할 수 있는가?
• RQ3 내부점 방법 대신 투영 경사 하강법을 사용함으로써 집합적 그래픽 모델에서 더 빠른 추론을 달성할 수 있는가?
• RQ4 인용 추출 및 수기 인식과 같이 전역 구조가 필요한 작업에서 기존 베이스라인을 초월하는 성능을 달성할 수 있는가?
• RQ5 새로운 관측 데이터가 많고 노이즈가 많은 실제 문제, 예를 들어 새 이동 모델링과 같은 문제에 이 프레임워크를 적용할 수 있는가?

주요 결과

• 이 방법은 강력한 이중 분해 베이스라인을 능가하는 소프트 전역 제약 조건을 학습함으로써 인용 추출 작업에서 최신 기준 성능을 달성한다.
• 광범위하게 사용되는 수기 인식 벤치마크에서 학습된 비볼록 추론 절차는 최신 기준 성능을 달성하여 비국소 모델링의 힘을 입증한다.
• 집합적 그래픽 모델에서, 제안된 알고리즘은 5만 노드 문제에서 내부점 해법의 690초에서 14초로 추론 시간을 단축시켰으며 정확도 손실 없이 수행되었다.
• 최적화 전반에 걸쳐 원천 타당성이 유지되어 이는 언제라도 사용 가능한 알고리즘으로서의 활용 가능성을 보장한다.
• 고차원 특징 조건에서도 제약 조건이 있는 55개 클래스의 로지스틱 회귀 베이스라인은 구조적 모델보다 성능이 열 劣하며, 국소-전역 상호작용을 모델링하는 것이 중요함을 시사한다.
• 이 프레임워크는 매우 확장 가능하고 일반적이며, 보장된 수렴성과 함께 볼록 및 비볼록 비국소 에너지 함수를 모두 지원한다.