[논문 리뷰] SparseMAP: Differentiable Sparse Structured Inference

Vlad Niculae, André F. T. Martins외 2명|arXiv (Cornell University)|2018. 02. 12.

Topic Modeling참고 문헌 40인용 수 37

한 줄 요약

이 논문은 단일 MAP 해나 조밀한 마진 분포가 아닌, 높은 점수를 받는 소수의 구조들로 구성된 해를 선택하는, 미분 가능한 희소 구조적 추론 방법인 SparseMAP를 소개한다. MAP 오라클을 유일한 도구로 활용하고 희소성의 특성을 이용함으로써, SparseMAP는 구조적 히든 레이어를 가진 딥 네트워크의 효율적이고 미분 가능한 학습을 가능하게 하며, 의존성 파싱 및 자연어 추론 작업에서 경쟁력 있는 정확도를 달성하면서도 더 높은 해석 가능성 확보한다.

ABSTRACT

Structured prediction requires searching over a combinatorial number of structures. To tackle it, we introduce SparseMAP: a new method for sparse structured inference, and its natural loss function. SparseMAP automatically selects only a few global structures: it is situated between MAP inference, which picks a single structure, and marginal inference, which assigns probability mass to all structures, including implausible ones. Importantly, SparseMAP can be computed using only calls to a MAP oracle, making it applicable to problems with intractable marginal inference, e.g., linear assignment. Sparsity makes gradient backpropagation efficient regardless of the structure, enabling us to augment deep neural networks with generic and sparse structured hidden layers. Experiments in dependency parsing and natural language inference reveal competitive accuracy, improved interpretability, and the ability to capture natural language ambiguities, which is attractive for pipeline systems.

연구 동기 및 목표

• 기존의 MAP 및 마진 추론의 한계를 해결하기 위해, 특히 희소성과 해석 가능성 부족 문제를 해결하고자 한다.
• MAP(희소성)의 장점과 마진 추론(미분 가능성)의 장점을 균형 있게 유지하는, 미분 가능한 추론 방법을 개발하여, 구조적 히든 레이어를 가진 딥 네트워크의 엔드 투 엔드 학습을 가능하게 하고자 한다.
• MAP 추론이 다항 시간 내에 가능할 수 있는 모든 구조적 문제에 적용 가능한 일반적이고 모듈러한 프레임워크를 제공하고자 한다. 이는 선형 배정과 같이 마진 추론이 비효율적인 경우에도 적용 가능하다.
• SparseMAP의 희소성과 미분 가능성 특성을 그대로 간직하는 새로운 손실 함수를 도입하여, 모델의 해석 가능성과 성능을 향상시키고자 한다.

제안 방법

• SparseMAP는 모든 가능한 구조들의 볼록결합으로 이루어진 볼록집합 위에서의 볼록 최적화 문제로 공식화되며, 이는 몇몇 높은 점수를 받는 구조들의 조합으로 이루어진 해를 유도한다.
• 이 방법은 희소성을 유도하기 위해 제곱형 정규화 항을 사용하며, 이로 인해 출력 분포에서 비영인 가중치를 가지는 구조의 수가 매우 적어진다.
• 정방향 전파(Forward pass)는 오직 반복적인 MAP 오라클 호출만을 요구하는 프로젝션 기반 경사하강법을 통해 계산되며, 이는 마진 추론이 비효율적인 선형 배정 문제 등에도 적용 가능하다.
• 역방향 전파(Backward pass)는 하위도함수 미분법을 사용하여 유도되며, 정방향 전파에서 계산된 양들을 재사용함으로써, 어떤 구조 유형이든 관계없이 효율적이고 일반적인 역전파를 가능하게 한다.
• 이 방법은 비구조적 출력에서의 sparsemax 변환을 구조적 공간으로 일반화하여, 구조적 출력으로의 희소성 유도 성질을 확장한다.
• 제안된 SparseMAP 손실 함수는 동일한 최적화 프레임워크에서 유도되며, 미분 가능한 지도 학습을 통해 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 MAP의 단일 구조 제한성과 마진 추론의 조밀한 출력 문제를 피하면서도, 동시에 미분 가능하고 희소적인 구조적 추론 방법을 설계할 수 있는가?
• RQ2 복잡한 문제 특화 역전파가 필요 없이, 오직 MAP 오라클만을 사용하여 희소 구조적 추론을 효율적으로 계산할 수 있는가?
• RQ3 구조적 추론에 SparseMAP를 적용할 경우, 특히 모호한 자연어 작업에서 정확도와 해석 가능성 향상이 이루어지는가?
• RQ4 SparseMAP는 구조적 히든 레이어로서, 엔드 투 엔드 학습이 가능한, 미분 가능하고 희소한 구조적 추론 레이어로 효과적으로 사용될 수 있는가?

주요 결과

• 의존성 파싱 작업에서, SparseMAP 손실로 학습된 모델들은 경쟁력 있는 정확도를 달성하면서도 입력의 모호성에 적응하는 희소하고 해석 가능한 예측을 생성하였다.
• 자연어 추론 작업에서, SparseMAP는 소프트맥스 기반 대비 수 개의 순서로 더 희소한 잠재 구조적 정렬을 학습하였으며, 정확도는 유사했고, 더 나은 시각적 해석 가능성 확보하였다.
• GPU 메모리 오버헤드가 있음에도 불구하고, 모델의 확신도가 높아질수록 희소성 덕분에 Softmax 기반 학습과 비교해도 학습 및 검증 시간이 유사하거나 더 빠르게 나타났다.
• 마진 추론 대비 계산적 우수성을 입증하였다. Kim 등(2017)은 마진 추론 시 5배의 속도 저하를 보고하였으나, SparseMAP는 효율적인 학습 시간을 유지하였다.
• SparseMAP 손실 및 그 기울기는 오직 MAP 오라클만을 사용하여 효율적으로 계산되었으며, 기존 딥 러닝 파이프라인에 모듈러하게 통합 가능하였다.
• 실험 결과, SparseMAP 해는 몇몇 핵심 구조들의 희소 조합임을 확인하였으며, 이는 밀도 있는 마진 추론보다 통계적 효율성과 정성적 해석 가능성 면에서 뛰어났다.