[논문 리뷰] Attentive Pooling Networks

Cícero Nogueira dos Santos, Ming Tan외 2명|arXiv (Cornell University)|2016. 02. 11.

Topic Modeling참고 문헌 25인용 수 324

한 줄 요약

주의 풀링(AP)은 쌍-인식(attention) 양방향 주의 메커니즘을 도입하여 풀링 계층을 쌍-인식하게 만들고, 세 가지 데이터세트에서 답변 선정에 대해 CNN과 biLSTM을 개선하며, 수작업 특징 없이도 최첨단 성능을 달성합니다.

ABSTRACT

In this work, we propose Attentive Pooling (AP), a two-way attention mechanism for discriminative model training. In the context of pair-wise ranking or classification with neural networks, AP enables the pooling layer to be aware of the current input pair, in a way that information from the two input items can directly influence the computation of each other's representations. Along with such representations of the paired inputs, AP jointly learns a similarity measure over projected segments (e.g. trigrams) of the pair, and subsequently, derives the corresponding attention vector for each input to guide the pooling. Our two-way attention mechanism is a general framework independent of the underlying representation learning, and it has been applied to both convolutional neural networks (CNNs) and recurrent neural networks (RNNs) in our studies. The empirical results, from three very different benchmark tasks of question answering/answer selection, demonstrate that our proposed models outperform a variety of strong baselines and achieve state-of-the-art performance in all the benchmarks.

연구 동기 및 목표

• 신경망에서 1방향 주의나 없음의 한계를 넘어 구별력 있는 쌍-간 매칭의 필요성을 동기 부여한다.
• 쌍-간 표현 및 쌍-간 유사도를 함께 학습하기 위해 주의 풀링(AP)을 제안한다.
• AP가 답변 선택을 위한 CNN과 RNN에 일반적으로 적용 가능한 메커니즘임을 보인다.
• AP가 긴 입력에 대한 강건성을 높이고 많은 합성 계층 필터의 필요성을 줄임을 보여준다.

제안 방법

• 학습된 유사도(예: 삼-그램 또는 은닉 상태)로 투영된 구간 간의 양방향 주의가 풀링을 안내하는 정의를 제시한다.
• G = tanh(Q^T U A) 형태의 상호 작용 매트릭스 G를 계산한다. 여기서 Q와 A는 쌍-간 표현(CNN 또는 biLSTM에서 나온 것)이다.
• 열 방향/행 방향 풀링과 softmax를 통해 두 입력에 대한 주의 벡터(r^q, r^a)를 도출한다.
• r^q와 r^a 사이의 코사인 유사도로 쌍의 점수를 매기고 힌지 랭킹 손실로 학습한다.
• AP를 AP-CNN 및 AP-biLSTM 아키텍처에 적용하고 QA-CNN 및 QA-biLSTM과 비교한다.
• SGD로 학습하고 음성 샘플링을 사용한다(질문당 50개, 업데이트를 위한 최대 점수 음수).

실험 결과

연구 질문

• RQ1 양방향 주의 풀링이 1방향 주의나 주의 없음에 비해 쌍-QA 작업에서 구별력 있는 학습을 개선하는가?
• RQ2 AP를 CNN과 RNN(biLSTM) 모두와 효과적으로 통합하여 답변 선정을 달성할 수 있는가?
• RQ3 AP가 긴 입력에 대한 견고성을 높이고 모델 복잡도(필터 수 감소)를 줄이면서 정확도를 유지하거나 향상시키는가?
• RQ4 AP가 데이터 길이와 도메인이 서로 다른 보험QA, TREC-QA, WikiQA에서 어떻게 성능을 내는가?

주요 결과

• AP-CNN 및 AP-biLSTM은 세 데이터세트 모두에서 비주의향 모델보다 우수한 성능을 보인다.
• AP-CNN은 InsuranceQA, TREC-QA에서 최첨단 성능을 달성하고 WikiQA에서도 강력한 결과를 보인다.
• AP 기반 모델은 더 적은 합성 필터를 필요로 하고 학습 시간이 더 빨라질 수 있다(예: AP-CNN 400필터 vs QA-CNN 4000).
• AP는 긴 답변에 대한 견고성을 향상시키며 AP-CNN은 약 90토큰 이후에도 정확도가 안정화되는 반면 QA-CNN은 그렇지 않다.
• 데이터세트 전반에서 AP-CNN은 기초 모델 대비 MAP/정밀도 지표를 일관되게 향상시키며 종종 최근의 최첨단 방법들을 능가한다.