[논문 리뷰] Variational Self-attention Model for Sentence Representation

Qiang Zhang, Shangsong Liang외 1명|arXiv (Cornell University)|2018. 12. 30.

Topic Modeling참고 문헌 9인용 수 4

한 줄 요약

이 논문은 변분 추론을 사용하여 자기주의 주의 가중치를 랜덤 변수로 간주하는 변분 자기주의 모델(VSAM)을 제안한다. 이는 확률적이고 다중 모달 주의 분포를 가능하게 하며, 잠재 변수에 대해 주어진 확률적 분포를 통합함으로써 과적합에 대한 강건성을 향상시키고, 스탠스 검출 작업에서 최신 기술 수준의 성능을 달성한다. FNC-1 데이터셋에서 마이크로-F1은 83.54%로, 결정론적 자기주의 및 기타 기준 모델을 모두 능가한다.

ABSTRACT

This paper proposes a variational self-attention model (VSAM) that employs variational inference to derive self-attention. We model the self-attention vector as random variables by imposing a probabilistic distribution. The self-attention mechanism summarizes source information as an attention vector by weighted sum, where the weights are a learned probabilistic distribution. Compared with conventional deterministic counterpart, the stochastic units incorporated by VSAM allow multi-modal attention distributions. Furthermore, by marginalizing over the latent variables, VSAM is more robust against overfitting. Experiments on the stance detection task demonstrate the superiority of our method.

연구 동기 및 목표

• 문장 표현에서 복잡하고 다중 모달 주의 패턴을 포착하는 데에 결정론적 자기주의의 한계를 해결하기 위해.
• 특히 소규모 NLP 데이터셋에서 과적합에 대한 일반화 및 강건성을 향상시키기 위해.
• 변분 추론을 통해 자기주의에 확률적 모델링을 통합하여 더 rich하고 분포 기반의 주의 표현을 가능하게 하기 위해.
• 주의 가중치의 불확실성을 모델링하여 문장 표현 학습을 향상시키기 위해 스탠스 검출에 활용한다.

제안 방법

• VSAM는 자기주의 벡터를 변분 사후 분포를 가진 잠재 랜덤 변수로 모델링하여 확률적 주의 계산을 가능하게 한다.
• 스토캐스틱 백프로파게이션을 통해 생성 모델과 추론 네트워크를 동시에 최적화하기 위해 변분 하한(ELBO)을 사용한다.
• 주의 가중치는 평균과 분산이 입력 문장 표현에 조건화된 신경망에 의해 예측되는 파arameterized 가우시안 분포에서 샘플링된다.
• 재구성 기법을 사용하여 미분 가능한 샘플링을 가능하게 하여, 백프로파게이션을 통한 엔드 투 엔드 훈련을 허용한다.
• 생성 모델은 잠재 주의 변수에 대한 사전 분포를 정의하고, 추론 네트워크는 관측된 입력과 타겟 레이블을 사용하여 진짜 사후 분포를 근사한다.
• 최종 문장 표현은 잠재 주의 변수에 대해 주어진 확률적 분포를 통합하여 도출되며, 이는 최종 출력에 불확실성을 통합한다.

실험 결과

연구 질문

• RQ1 자기주의 가중치를 랜덤 변수로 모델링하면 NLP 작업에서 문장 표현 학습에 도움이 될 수 있는가?
• RQ2 변분 추론을 통해 도입된 확률적 성격이 다중 모달 종속성을 포착할 수 있는 더 강건한 주의 분포를 만들어내는가?
• RQ3 잠재 주의 변수에 대한 주어진 확률적 분포를 통합함으로써 과적합이 줄어들 수 있는가, 특히 소규모 데이터셋에서 유의미한가?
• RQ4 제안된 변분 자기주의 기법이 스탠스 검출 작업에서 결정론적 자기주의보다 어떻게 비교되는가?

주요 결과

• VSAM는 FNC-1 스탠스 검출 테스트 세트에서 83.54%의 마이크로-F1을 달성하여 CNN, RNN 및 결정론적 자기주의 모델을 포함한 모든 기준 모델을 능가한다.
• 합의 클래스에서 정확도가 28.53%로 향상되었으며, 이는 다음으로 우수한 기준 모델(24.54%의 CNN)을 크게 능가한다.
• 비관련 클래스에서는 82.43%의 정확도를 기록하여 결정론적 자기주의 모델(80.34%)과 CNN 기준 모델(79.53%)을 모두 초월한다.
• 성능 향상의 원인은 모델이 확률적 추론을 통해 다중 모달 주의 분포를 학습할 수 있어 표현 품질이 향상되기 때문이다.
• 실험 결과에 따르면 잠재 변수에 대한 주어진 확률적 분포를 통합함으로써 강건성이 향상되며, 특히 훈련 예제가 제한된 소규모 데이터셋에 매우 유리하다.