[논문 리뷰] Exploring Different Dimensions of Attention for Uncertainty Detection

Heike Adel, Hinrich Schütze|arXiv (Cornell University)|2016. 12. 20.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 자연어처리(NLP)에서 불확실성 탐지에 위한 새로운 주의 메커니즘—외부 주의(external attention)와 순서 유지 주의(sequence-preserving attention)—을 소개한다. 외부 촉진어 어휘집과 주의 계산 중 순서를 유지함으로써, 제안된 모델들은 이전 방법들을 능가하며 CoNLL2010 위키백과 벤치마크에서 기존 최고 성능(SOTA)보다 3.5+ F1 포인트 향상된 새로운 최고 성능을 달성한다.

ABSTRACT

Neural networks with attention have proven effective for many natural language processing tasks. In this paper, we develop attention mechanisms for uncertainty detection. In particular, we generalize standardly used attention mechanisms by introducing external attention and sequence-preserving attention. These novel architectures differ from standard approaches in that they use external resources to compute attention weights and preserve sequence information. We compare them to other configurations along different dimensions of attention. Our novel architectures set the new state of the art on a Wikipedia benchmark dataset and perform similar to the state-of-the-art model on a biomedical benchmark which uses a large set of linguistic features.

연구 동기 및 목표

• 텍스트 내에서 추측, 견해 또는 모호성과 같은 비사실적 정보(불확실한 정보)를 탐지하는 문제에 대응하기 위해.
• 표준 내부 주의, 가중치 기반, 순서에 무관한 접근 방식을 초월하여 신경망 주의 메커니즘의 설계 공간을 확장하기 위해.
• 원천, 가중치, 순서 유지와 같은 다양한 주의 차원이 불확실성 탐지 성능에 미치는 영향을 평가하기 위해.
• 최초로 복합 신경망(CNNs)과 순환 신경망(RNNs)에 새로운 주의 메커니즘을 적용하여 불확실성 탐지에 응용하기 위해.
• CoNLL2010 위키백과 벤치마크에서 새로운 최고 성능을 확립하고, 생물의학 데이터셋에서도 뛰어난 성능을 보여주기 위해.

제안 방법

• 내부 네트워크 표현이 아닌 외부 불확실성 촉진어 어휘집에 기반하여 주의 가중치를 계산하는 외부 주의(external attention)를 제안한다.
• 표준 가중 평균 주의와 달리 주의 계산 중 입력 토큰의 상대적 순서를 유지하는 순서 유지 주의 메커니즘(sequence-preserving attention mechanisms)을 도입한다.
• 시퀀스 분류를 위해 복합 신경망(CNNs)과 순환 신경망(RNNs)에 모두 주의 메커니즘을 통합한다.
• 주의 점수를 계산하기 위해 피드포워드 레이어를 사용하며, 주의 가중치는 외부 촉진어 어휘집에서 유도되어 불확실성 지표에 집중하도록 유도한다.
• 복합 신경망 또는 순환 인코딩과 주의 메커니즘을 조합한 다층 아키텍처를 사용하고, 이 후에 이진 불확실성 예측을 위한 분류 헤드를 적용한다.
• 내부 주의 대비 외부 주의, 가중치 기반 대비 비가중치 기반, 순서 무관 대비 순서 유지 선택과 같은 다양한 주의 구성에 대해 광범위한 분석(ablation studies)를 수행한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 불확실성 촉진어 어휘집을 사용하는 외부 주의 메커니즘은 표준 내부 주의 대비 불확실성 탐지 성능에 어떤 영향을 미치는가?
• RQ2 주의 계산 중 순서를 유지하는 것이 불확실성 탐지 작업 성능 향상에 어느 정도 기여하는가?
• RQ3 다양한 주의 구성—가중치 기반 대비 비가중치 기반, 내부 주의 대비 외부 주의, 순서 무관 대비 순서 유지—이 다양한 NLP 작업에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 복합 신경망과 순환 신경망에 새로운 주의 메커니즘을 적용하면 불확실성 탐지 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 제안된 주의 메커니즘은 위키백과 벤치마크를 초월하여 더 복잡한 생물의학 데이터셋에서도 일반화 가능한가?

주요 결과

• 제안된 외부 주의 메커니즘은 모델이 알려진 불확실성 촉진어에 집중하도록 유도함으로써 위키백과 벤치마크에서 F1 점수를 3.5+ 포인트 향상시키며 성능 향상을 크게 이룬다.
• 순서 유지 주의 메커니즘은 중요한 문법적 및 의미적 순서를 유지하여, "X가 바스크어라는 것은 확실하지 않다"와 "X가 바스크어가 아니라는 것은 확실하지 않다"와 같은 문장 간의 구분을 더 잘 가능하게 한다.
• 외부 주의를 적용한 CNN은 CoNLL2010 위키백과 벤치마크에서 새로운 최고 성능을 달성하였으며, 이전 최고 성능(SOTA) 모델보다 F1 점수를 3.5점 이상 뛰어넘었다.
• 생물의학 벤치마크에서도 경쟁력 있는 성능을 보였으며, 방대한 언어학적 특징 집합에 의존하는 최고 성능 시스템과 유사한 성능을 달성했다.
• 분석 결과 외부 주의와 순서 유지가 성능 향상의 핵심 요소임을 확인하였으며, 특히 외부 주의가 가장 큰 기여를 하였다.
• 코드와 모델는 재현성 및 향후 불확실성 탐지 및 주의 메커니즘 설계 분야의 연구를 지원하기 위해 공개되었다.