[논문 리뷰] Learning Approximate Inference Networks for Structured Prediction

Lifu Tu, Kevin Gimpel|arXiv (Cornell University)|2018. 02. 15.

Topic Modeling인용 수 27

한 줄 요약

이 논문은 구조적 예측에서 구조적 argmax 추론을 근사하기 위해 신경망을 훈련시키는 방법을 제안한다. 기존의 경사하강법 대신 미분 가능한 추론 네트워크를 사용한다. 에너지 함수와 추론 네트워크를 함께 훈련시키며, 대용량 마진 기준을 적용함으로써 이전 방법 대비 10–60배 빠른 속도 향상을 이룩했으며, 다중 레이블 분류 및 시퀀스 태깅에서 정확도도 향상되었다. 또한 CRF와 언어 모델을 통합한 모델에서도 빠른 추론을 가능하게 한다.

ABSTRACT

Structured prediction energy networks (SPENs; Belanger & McCallum 2016) use neural architectures to define energy functions that can capture arbitrary dependencies among parts of structured outputs. Prior work used gradient descent for inference, relaxing the structured output to a set of continuous variables and then optimizing the energy with respect to them. We replace this use of gradient descent with a neural trained to approximate structured argmax inference. This network outputs continuous values that we treat as the output structure. We develop large-margin training criteria for joint training of the structured energy function and inference network. On multi-label classification we report speed-ups of 10-60x compared to (Belanger et al, 2017) while also improving accuracy. For sequence labeling with simple structured energies, our approach performs comparably to exact inference while being much faster at test time. We then demonstrate improved accuracy by augmenting the energy with a language model that scores entire output label sequences, showing it can improve handling of long-distance dependencies in part-of-speech tagging. Finally, we show how inference networks can replace dynamic programming for test-time inference in conditional random fields, suggestive for their general use for fast inference in structured settings.

연구 동기 및 목표

• 구조적 예측에서 경사 기반 추론의 계산적 병목 현상을 해결하기 위해 반복 최적화를 신경 추론 네트워크로 대체한다.
• 보다 우수한 일반화를 위해 에너지 함수와 추론 네트워크의 엔드 투 엔드 훈련을 대용량 마진 기준을 사용해 수행한다.
• 정확도를 희생시키지 않고 CRF 및 시퀀스 모델과 같은 구조적 모델에서 테스트 시 추론 속도를 높인다.
• 에너지 함수에 언어 모델을 통합하여 구조적 출력에서 장거리 의존성을 더 잘 모델링한다.

제안 방법

• 구조적 에너지 함수에 대한 argmax 추론을 근사함으로써 직접 구조적 출력을 예측할 수 있도록 신경망을 훈련시킨다.
• 에너지 함수와 추론 네트워크 양측을 정규화하는 대용량 마진 기준을 사용해, 서로 다른 가속도를 갖는 공동 훈련 목표를 정의한다.
• 역전파를 사용해 에너지 네트워크 및 추론 네트워크의 파라미터를 함께 최적화한다.
• 테스트 시 CRF에서 동적 프rogramming을 학습된 추론 네트워크로 대체한다.
• 에너지 함수에 언어 모델을 통합하여 전체 레이블 시퀀스의 점수를 매기며, 장거리 의존성 모델링을 향상시킨다.
• 추론 네트워크의 출력을 연속적인 값으로 간주하고, 이를 최종 구조적 예측을 도출하기 위해 이산화한다.

실험 결과

연구 질문

• RQ1 경사하강법보다 효율적으로 구조적 argmax 추론을 근사할 수 있는 신경망을 훈련시킬 수 있는가?
• RQ2 에너지 함수와 추론 네트워크의 공동 훈련이 정확도 향상과 추론 속도 향상에 기여하는가?
• RQ3 학습된 추론 네트워크가 CRF에서 동적 프로그래밍을 효과적으로 대체하여 테스트 시 빠른 추론을 가능하게 하는가?
• RQ4 에너지 함수에 언어 모델을 통합하면 장거리 의존성이 중요한 작업에서 성능 향상이 이루어지는가?
• RQ5 정확한 추론을 신경망 근사로 대체할 경우 속도와 정확도 사이의 상충 관계는 어떻게 되는가?

주요 결과

• 제안된 방법은 이전의 경사 기반 추론 방법 대비 10–60배 빠른 속도 향상을 이룩했으며, 다중 레이블 분류 벤치마크에서 정확도도 향상되었다.
• 간단한 구조적 에너지가 적용된 시퀀스 태깅 작업에서는 정확한 추론과 동일한 정확도를 달성했지만, 테스트 시에 훨씬 더 빠른 속도를 보였다.
• 에너지 함수에 언어 모델을 통합함으로써, 특히 장거리 의존성을 포착하는 데에 유리하여 품사 태깅 성능이 향상되었다.
• 추론 네트워크가 CRF에서 동적 프로그래밍을 성공적으로 대체하여, 빠르고 확장 가능한 테스트 시 추론을 가능하게 하였다.
• 대용량 마진 기준을 사용한 공동 훈련은 더 나은 일반화와 향상된 구조적 예측 성능을 이끌어냈다.