[논문 리뷰] Multi-Cast Attention Networks for Retrieval-based Question Answering and Response Prediction

Yi Tay, Luu Anh Tuan외 1명|arXiv (Cornell University)|2018. 06. 03.

Topic Modeling참고 문헌 52인용 수 22

한 줄 요약

이 논문은 다중 캐스트 어텐션 네트워크(MCAN)를 소개한다. MCAN은 어텐션 매트릭스에서 유도된 스칼라 특징을 후속 인코더 레이어에 투영함으로써 어텐션을 풀링 메커니즘으로서의 기능이 아닌 특징 증강 기법으로 재사용하는 새로운 신경망 아키텍처이다. MCAN은 표현 크기 증가 없이도 다양한 어텐션 유형(예: 공-어텐션, 인tra-어텐션)과 풀링 유형(예: 최대값, 평균, 정렬)을 동시에 적용할 수 있도록 함으로써, 네 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다. 특히 Ubuntu 대화 코퍼스에서 기존 최고 성능 모델 대비 9% 향상되었고, TrecQA에서는 지금까지 보고된 바 없는 최고 성능을 기록하였다.

ABSTRACT

Attention is typically used to select informative sub-phrases that are used for prediction. This paper investigates the novel use of attention as a form of feature augmentation, i.e, casted attention. We propose Multi-Cast Attention Networks (MCAN), a new attention mechanism and general model architecture for a potpourri of ranking tasks in the conversational modeling and question answering domains. Our approach performs a series of soft attention operations, each time casting a scalar feature upon the inner word embeddings. The key idea is to provide a real-valued hint (feature) to a subsequent encoder layer and is targeted at improving the representation learning process. There are several advantages to this design, e.g., it allows an arbitrary number of attention mechanisms to be casted, allowing for multiple attention types (e.g., co-attention, intra-attention) and attention variants (e.g., alignment-pooling, max-pooling, mean-pooling) to be executed simultaneously. This not only eliminates the costly need to tune the nature of the co-attention layer, but also provides greater extents of explainability to practitioners. Via extensive experiments on four well-known benchmark datasets, we show that MCAN achieves state-of-the-art performance. On the Ubuntu Dialogue Corpus, MCAN outperforms existing state-of-the-art models by $9\%$. MCAN also achieves the best performing score to date on the well-studied TrecQA dataset.

연구 동기 및 목표

• 신경 순서 매기기 모델에서 어텐션을 특징 풀링 또는 표현 압축 수단으로만 사용하는 기존 어텐션 메커니즘의 한계를 해결하기 위해.
• 표현 차원이 증가하지 않도록 다양한 어텐션 유형과 풀링 유형을 동시에 적용할 수 있도록 하여 아키텍처 엔지니어링의 필요성을 제거하기 위해.
• 캐스팅된 어텐션 특징을 통해 실수값 힌트를 제공함으로써 검색 기반 질문 응답 및 응답 예측에서 모델의 해석 가능성과 성능을 향상시키기 위해.
• 다양한 대화 모델링 및 질문 응답 작업에 적용 가능한 통합적이고 일반적인 목적의 신경 순서 매기기 프레임워크를 개발하기 위해.

제안 방법

• MCAN은 다중 캐스트 어텐션 메커니즘을 도입하여, 각각 다른 어텐션 유형(예: 공-어텐션, 인tra-어텐션)과 풀링 변형(예: 최대값 풀링, 평균 풀링, 정렬 풀링)을 기반으로 하는 여러 소프트 어텐션 연산을 수행하며, 어텐션 매트릭스에서 유도된 스칼라 특징을 다음 인코더 레이어로 투영한다.
• 각 어텐션 연산은 서로 다른 어텐션 유형과 풀링 변형을 기반으로 하여 입력 시퀀스 쌍에 대한 다양한 시각을 제공한다.
• 전역 풀링 또는 어텐션 가중 평균화와 같은 기법을 사용하여 어텐션 매트릭스를 스칼라 특징으로 압축하고, 이를 후속 레이어에 힌트로 삽입한다.
• 모델은 임의의 수의 어텐션 캐스트를 지원하여, 표현을 연결하거나 차원을 늘리지 않으면서도 다양한 어텐션 메커니즘을 탄력적이고 효율적으로 통합할 수 있다.
• 표준 인코더(예: BiLSTM 또는 Transformer)를 사용하여 입력을 처리하며, 어텐션 특징을 여러 레이어에 걸쳐 삽입하여 표현 학습을 이끌어낸다.
• 최종 표현은 순서 매기기 또는 분류 작업에 사용되며, 문서-질문 또는 응답-페어에 대해 학습된 스코어 함수가 적용된다.

실험 결과

연구 질문

• RQ1 어텐션을 풀링 메커니즘으로서의 기능이 아닌 표현 학습 향상을 위한 특징 증강 수단으로 효과적으로 재사용할 수 있는가?
• RQ2 다양한 어텐션 유형(예: 공-어텐션, 인tra-어텐션)과 풀링 유형(예: 최대값, 평균, 정렬)을 동시에 적용함으로써 모델 복잡도 증가 없이 성능 향상이 이루어지는가?
• RQ3 제안된 다중 캐스트 어텐션 메커니즘은 질문 응답 및 대화 응답 선택과 같은 다양한 검색 기반 작업에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 캐스팅된 어텐션 특징은 순서 매칭 작업에서 모델의 해석 가능성과 설명 가능성을 어떻게 향상시키는가?

주요 결과

• MCAN은 Ubuntu 대화 코퍼스에서 기존 최고 성능 모델 대비 9% 상대적 향상을 기록하며 새로운 최신 기준 성능을 확립하였다.
• MCAN은 잘 연구된 TrecQA 데이터셋에서 지금까지 보고된 바 없는 최고 성능을 기록하여 모든 이전 방법을 압도하였다.
• MCAN은 커뮤니티 질문 응답(CQA) 및 트윗 응답 예측 벤치마크에서도 뛰어난 성능을 기록하여 다양한 대화 모델링 작업에 대한 광범위한 적용 가능성을 입증하였다.
• 캐스팅된 어텐션 특징의 시각화 결과, 이들이 의미적으로 유의미한 서브어절과 대응하며 해석 가능한 특징임을 확인하였다. 이는 모델의 설명 가능성을 향상시켰다.
• 다중 캐스트 메커니즘은 표현 크기 증가 없이도 다양한 어텐션 유형과 풀링 전략을 동시에 사용할 수 있도록 하여 아키텍처 엔지니어링 비용을 감소시켰다.