[논문 리뷰] Jointly Trained Sequential Labeling and Classification by Sparse Attention Neural Networks

Mingbo Ma, Kai Zhao외 3명|arXiv (Cornell University)|2017. 09. 28.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 장기적 의존성과 의미적 유사성을 활용하여 문장 분류와 순차적 레이블링을 동시에 수행하는 공동 학습된 LSTM 기반 모델과 희소 어텐션을 제안한다. 이는 성능 햖스를 향상시킨다. 이 방법은 ATIS 및 TREC 데이터셋에서 최신 기술 수준의 성능을 달성하며, 슬롯 채우기 작업에서 F1 점수 2포인트 향상과 문장 분류의 오류율 감소를 통해 목표 어텐션 메커니즘을 통해 성능을 향상시킨다.

ABSTRACT

Sentence-level classification and sequential labeling are two fundamental tasks in language understanding. While these two tasks are usually modeled separately, in reality, they are often correlated, for example in intent classification and slot filling, or in topic classification and named-entity recognition. In order to utilize the potential benefits from their correlations, we propose a jointly trained model for learning the two tasks simultaneously via Long Short-Term Memory (LSTM) networks. This model predicts the sentence-level category and the word-level label sequence from the stepwise output hidden representations of LSTM. We also introduce a novel mechanism of "sparse attention" to weigh words differently based on their semantic relevance to sentence-level classification. The proposed method outperforms baseline models on ATIS and TREC datasets.

연구 동기 및 목표

• 문장 수준의 분류와 순차적 레이블링 작업을 별도로 모델링하는 데서 비롯하는 한계를 해결하기 위해.
• 양자 모두를 공동 학습하기 위해 LSTM를 사용함으로써 일반화 능력을 향상시키고 장기적 의존성을 포착하기 위해.
• 의미적으로 관련된 단어를 강조하는 희소 어텐션 메커니즘을 도입함으로써 문장 표현을 향상시키기 위해.
• 단어 수준의 레이블을 잠재 변수로 간주함으로써 제로샷 또는 약한 지도 학습을 가능하게 하기 위해.
• CRF 기반 및 CNN 기반 모델이 장거리 맥락과 비선형 표현을 포착하는 데에 떨어지는 단점을 극복하기 위해.

제안 방법

• 모델은 시퀀스 모델링을 위해 LSTM 네트워크에 입력하기 전에 국소적 특징을 추출하기 위해 컨볼루션 계층을 사용한다.
• 각 타임스텝에서 LSTM의 은닉 상태에서 소프트맥스 계층을 통해 레이블 공간에 대해 탐욕적으로 단어 수준의 레이블을 예측한다.
• 모든 타임스텝에 걸친 LSTM 은닉 표현을 풀링하여 문장 수준의 분류를 수행한다.
• 희소 어텐션 메커니즘은 의미적으로 관련된 단어에 더 높은 가중치를 할당하며, 희소성은 하이퍼파라미터 ρ와 β로 제어된다.
• 어텐션 함수는 비소프트맥스 기반의 미분 가능 메커니즘으로, 합이 1이 되는 제약 조건 없이 비균일한 희소 어텐션 가중치를 허용한다.
• 잠재 변수 버전의 모델을 도입하여 관측되지 않은 단어 수준의 레이블에 대해 마진을 취함으로써 문장 분류 작업만으로도 학습이 가능하게 한다.

실험 결과

연구 질문

• RQ1 문장 분류와 순차적 레이블링을 공동으로 학습하는 것이 별도로 모델링하는 것보다 성능 향상에 기여하는가?
• RQ2 의미적으로 관련된 단어에 초점을 맞추는 희소 어텐션 메커니즘이 모델 성능 향상에 기여하는가?
• RQ3 제안된 모델은 기존의 CRF 기반 또는 CNN 기반 공동 모델보다 미관측 데이터에 대해 더 잘 일반화되는가?
• RQ4 추론 과정에서 단어 수준의 레이블을 잠재 변수로 간주할 경우 모델의 성능은 어떻게 되는가?
• RQ5 희소 어텐션 메커니즘이 의미적으로 빈약한 단어가 문장 분류에 악영향을 미치는 것을 줄일 수 있는가?

주요 결과

• 공동 학습된 모델은 ATIS 데이터셋에서 기존 모델 대비 슬롯 채우기 작업에서 F1 점수 2포인트 향상 달성.
• 희소 어텐션을 적용한 모델은 ATIS에서 문장 분류의 오류율을 감소시켜 비희소 및 비공동 학습 모델을 모두 능가.
• 잠재 변수 버전의 모델은 단어 수준의 레이블이 관측되지 않더라도 강력한 성능 유지를 보이며, 강인성과 일반화 능력을 입증.
• 시각화 결과 희소 어텐션은 'currency'와 같이 핵심어를 정확히 식별하는 반면, 소프트맥스 기반 어텐션은 평탄한 분포로 인해 자주 잘못된 어텐션을 할당함.
• 단일 문장 어텐션에서 희소 어텐션은 관련 없는 단어들 간의 상호 영향을 피함으로써 소프트맥스 기반 어텐션을 능가하며, 특히 'run'이 잘못 정렬되는 경우와 같은 상황에서 유리함.
• RecNN 기반 및 기타 신경망 공동 모델을 능가하며, LSTM와 희소 어텐션의 조합이 공동 학습에 효과적임을 입증.