[논문 리뷰] Phase Conductor on Multi-layered Attentions for Machine Comprehension

Rui Liu, Wei Wei외 2명|arXiv (Cornell University)|2017. 10. 28.

Topic Modeling참고 문헌 12인용 수 18

한 줄 요약

이 논문은 기계 이해를 위한 다단계, 다층 주의 모델인 PhaseCond를 제안하며, 질문 인식 파assage 표현과 증거 전파를 별도의 단계로 분리하여 질문 응답 성능을 향상시킨다. 질문과 파assage에 대해 독립적이고 공유되는 인코더를 사용함으로써 주의 메커니즘을 개선하여 SQuAD에서 71.85% EM 및 81.13% F1의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Attention models have been intensively studied to improve NLP tasks such as machine comprehension via both question-aware passage attention model and self-matching attention model. Our research proposes phase conductor (PhaseCond) for attention models in two meaningful ways. First, PhaseCond, an architecture of multi-layered attention models, consists of multiple phases each implementing a stack of attention layers producing passage representations and a stack of inner or outer fusion layers regulating the information flow. Second, we extend and improve the dot-product attention function for PhaseCond by simultaneously encoding multiple question and passage embedding layers from different perspectives. We demonstrate the effectiveness of our proposed model PhaseCond on the SQuAD dataset, showing that our model significantly outperforms both state-of-the-art single-layered and multiple-layered attention models. We deepen our results with new findings via both detailed qualitative analysis and visualized examples showing the dynamic changes through multi-layered attention models.

연구 동기 및 목표

• 기계 이해에서 장거리 의존성과 증거 전파를 효과적으로 포착하지 못하는 단일 단계 주의 모델의 한계를 해결하기 위해.
• 질문 인식 표현과 증거 전파를 별도의 단계로 분리할 경우 성능 향상과 해석 가능성 향상 여부를 조사하기 위해.
• 다양한 질문 표현(독립적 및 공유 인코더)을 사용함으로써 주의 메커니즘 내에서 더 나은 정렬과 특징 학습을 이루는 영향을 탐색하기 위해.
• 다중 층에서의 주의 가중치 동적 변화를 분석하여, 쌓인 주의 메커니즘 내에서의 정보 흐름과 열화 현상에 대한 통찰을 제공하기 위해.

제안 방법

• PhaseCond는 두 단계 아키텍처를 도입한다: 질문 인식 파assage 표현 단계(스택드 질문-파assage 주의 레이어 포함)와 증거 전파 단계(스택드 자기 주의 레이어 포함).
• 각 단계에는 융합 레이어가 포함되며, 질문-파assage 단계에서는 레이어 간 표현을 연결하는 외부 융합이, 자기 주의 레이어에서는 정보 흐름을 조절하는 내부 융합이 수행된다.
• 세 가지 별도의 임bedding 스트림을 사용하는 개선된 내적 주의 함수를 제안한다: 독립적 질문 인코더, 가중치 공유 질문 인코더, 가중치 공유 파assage 인코더.
• 쿼리가 공유된 질문 표현에서 유도되고 키가 파assage에서 유래되는 다헤드 내적 주의 메커니즘을 사용하며, 학습된 주의 가중치를 통해 맥락 인식 정렬을 수행한다.
• 각 단계에 다수의 레이어를 스택하여, 파assage 표현의 반복적 개선과 답변 관련 증거의 전파를 가능하게 한다.
• SQuAD에서 주의 동적 변화를 분석하기 위해 시각화 및 추상화 연구를 수행하였으며, 특히 가중치 집중도와 열화 패턴에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 질문 인식 파assage 표현과 증거 전파를 별도의 단계로 분리할 경우 기계 이해 작업에서 성능 향상이 이루어지는가?
• RQ2 독립적 및 공유 인코더를 활용한 다수의 시각화된 질문 표현을 사용할 경우, 단일 인코더 접근 방식과 비교해 주의 정렬과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 질문-파assage 및 자기 주의 단계의 다중 층에서 주의 가중치의 동적 변화는 무엇이며, 이는 모델 성능과 어떻게 관련되는가?
• RQ4 왜 질문-파assage 주의 단계에 더 많은 레이어를 추가하면 성능 저하가 발생하는 반면, 자기 주의 레이어를 더 깊게 하면 성능 향상이 이루어지는가?
• RQ5 어떻게 주의 행렬이 복잡한 파assage에서 의미 있는 증거 집중 및 전파 패턴을 드러내는가?

주요 결과

• PhaseCond는 SQuAD 벤치마크에서 71.85% EM 및 81.13% F1을 달성하여 단층 및 다층 주의 모델을 모두 크게 능가한다.
• 질문-파assage 주의 단계에 두 번째 레이어를 추가하면 성능 저하가 발생한다(EM은 72.05에서 71.85로 하락), 이는 동일한 질문 표현으로 반복 정렬이 이루어져 질문에 과적합되고 표현의 다양성이 감소하기 때문이다.
• 자기 주의 레이어의 두 번째 레이어는 첫 번째 레이어보다 더 날카운 정렬 가중치를 생성한다. 이는 더 깊은 자기 주의 레이어가 증거 집중 및 전파를 향상시킨다는 것을 시사한다.
• 시각화 결과, 첫 번째 질문-파assage 주의 레이어 이후 파assage 단어들이 점점 질문과 정렬되며, 두 번째 레이어에서는 정렬 패턴이 서로 구분되지 않게 된다. 이는 성능 저하의 원인을 설명한다.
• 자기 주의 단계에서는 주의 가중치가 점점 더 집중된다. 예를 들어 'Denver Broncos'는 두 번째 레이어에서 'Carolina Panthers'로 더 집중되며, 이는 답변 관련 증거의 효과적인 전파를 나타낸다.
• 모델는 증거 전파가 반복적인 질문-파assage 주의보다 자기 주의 레이어를 통해 더 효과적으로 이루어진다는 것을 드러내며, 내부 파assage 표현 개선의 중요성을 강조한다.