[논문 리뷰] Neural Attention Models for Sequence Classification: Analysis and Application to Key Term Extraction and Dialogue Act Detection

Sheng-syun Shen, Hung-yi Lee|arXiv (Cornell University)|2016. 03. 31.

Natural Language Processing Techniques참고 문헌 20인용 수 31

한 줄 요약

이 논문은 순서 분류 작업을 위한 순차적 입력에서의 노이즈나 관련 없는 내용을 효과적으로 처리하기 위해 LSTM 네트워크와 통합된 신경망 주의 메커니즘을 제안한다. 주요 용어 추출 및 대화 액트 검출에서 관련 있는 순서 부분에 집중함으로써 성능을 향상시킨다. 주요 용어 추출에서 50.5%의 MAP 점수를 기록하여 기준 모델들을 능가하며, 장수열에서 노이즈를 걸러내고 분류 정확도를 향상시키는 데 주의 메커니즘이 효과적임을 입증한다.

ABSTRACT

Recurrent neural network architectures combining with attention mechanism, or neural attention model, have shown promising performance recently for the tasks including speech recognition, image caption generation, visual question answering and machine translation. In this paper, neural attention model is applied on two sequence classification tasks, dialogue act detection and key term extraction. In the sequence labeling tasks, the model input is a sequence, and the output is the label of the input sequence. The major difficulty of sequence labeling is that when the input sequence is long, it can include many noisy or irrelevant part. If the information in the whole sequence is treated equally, the noisy or irrelevant part may degrade the classification performance. The attention mechanism is helpful for sequence classification task because it is capable of highlighting important part among the entire sequence for the classification task. The experimental results show that with the attention mechanism, discernible improvements were achieved in the sequence labeling task considered here. The roles of the attention mechanism in the tasks are further analyzed and visualized in this paper.

연구 동기 및 목표

• 장수열에서 노이즈이거나 관련 없는 내용이 포함된 경우 순차 분류 작업에 대한 도전 과제를 해결하기 위해.
• 주어진 순서의 중요한 부분을 선택적으로 강조함으로써 주의 메커니즘이 분류 성능을 향상시킬 수 있는지 조사하기 위해.
• 제안된 신경망 주의 모델을 실제 응용 분야의 두 가지 순차 레이블링 작업인 주요 용어 추출 및 대화 액트 검출에 적용하기 위해.
• 주의 가중치가 입력 순서에 어떻게 분포되어 있는지 분석하고 시각화하여 모델의 동작 방식을 이해하기 위해.

제안 방법

• 모델은 입력 순서를 고정 길이의 컨텍스트 벡터 $O_T$로 변환하기 위해 LSTM 인코더를 사용한다.
• 주어진 순서의 각 토큰 임베딩 $V_i$와 $O_T$ 간의余弦 유사도를 계산하여 주의 가중치를 생성한다.
• 주의 메커니즘은 순서의 관련 있는 부분에 더 높은 가중치를 할당하여 노이즈와 불순물들을 걸러낸다.
• 최종 예측은 입력 표현의 가중치 합을 기반으로 하며, 높은 주의 가중치를 가진 토큰에 집중한다.
• 성능에 미치는 영향을 평가하기 위해 주의 메커니즘의 두 가지 변형인 날카운 주의와 부드러운 주의를 평가한다.
• 모델은 교차 엔트로피 손실을 사용하여 순차 분류 작업에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 장수열에 노이즈이거나 관련 없는 내용이 포함된 경우 주의 메커니즘이 순차 분류 정확도를 어떻게 향상시키는가?
• RQ2 주의 메커니즘은 자연어 순서에서 기능어와 불순물들을 효과적으로 걸러낼 수 있는가?
• RQ3 다양한 주의 전략(예: 부드러운 주의 대비 날카운 주의)이 순차 분류 작업 성능에 어떤 영향을 미치는가?
• RQ4 제안된 모델이 주요 용어 추출 및 대화 액트 검출에서 표준 LSTMs와 전통적인 방법(tf-idf)보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 신경망 주의 모델은 대화 액트 검출 작업에서 72.6%의 정확도를 기록하여 기준 모델들보다 뚜렷한 향상을 보였다.
• 주요 용어 추출에서, 부드러운 주의 메커니즘 변형을 사용한 모델은 50.5%의 MAP 점수를 기록하여 모든 다른 기준 모델들을 능가했다.
• 부드러운 주의 메커니즘은 예측 과정에 더 많은 관련 있는 요소들을 통합함으로써 표준 LSTM보다 성능을 향상시켰다.
• 시각화 결과 주의 가중치가 기능어와 불순물들을 효과적으로 억제하고 의미적으로 중요한 용어들을 강조하는 것으로 확인되었다.
• 주의 기반 모델은 노이즈와 중복 요소가 더 많이 존재하는 장수열에서도 더 뛰어난 내성적 특성을 보였다.