[논문 리뷰] Information Aggregation via Dynamic Routing for Sequence Encoding

Jingjing Gong, Xipeng Qiu외 2명|arXiv (Cornell University)|2018. 06. 05.

Text and Document Classification Technologies인용 수 44

한 줄 요약

논문은 가변 길이 시퀀스 인코딩을 고정 크기 벡터로 압축하는 다이나믹 라우팅 기반 어그리게이션(DR-AGG) 메커니즘을 도입하여, 다섯 데이터셋에서 풀링과 셀프 어텐션보다 텍스트 분류 성능을 향상시킵니다. 표준 및 역방향 라우팅 정책을 제시하고 문서 수준 및 문장 수준 작업에서 우수한 정확도를 시연합니다.

ABSTRACT

While much progress has been made in how to encode a text sequence into a sequence of vectors, less attention has been paid to how to aggregate these preceding vectors (outputs of RNN/CNN) into fixed-size encoding vector. Usually, a simple max or average pooling is used, which is a bottom-up and passive way of aggregation and lack of guidance by task information. In this paper, we propose an aggregation mechanism to obtain a fixed-size encoding with a dynamic routing policy. The dynamic routing policy is dynamically deciding that what and how much information need be transferred from each word to the final encoding of the text sequence. Following the work of Capsule Network, we design two dynamic routing policies to aggregate the outputs of RNN/CNN encoding layer into a final encoding vector. Compared to the other aggregation methods, dynamic routing can refine the messages according to the state of final encoding vector. Experimental results on five text classification tasks show that our method outperforms other aggregating models by a significant margin. Related source code is released on our github page.

연구 동기 및 목표

• 가변 길이의 단어 인코딩을 고정 크기의 텍스트 표현으로 효과적으로 집계하는 방법에 동기를 부여하고 개선한다.
• Capsule Networks에서 영감을 받은 다이나믹 라우팅 어그리게이션 메커니즘 제안.
• 표준 및 역방향 정책에서 풀링과 셀프 어텐션과의 비교.
• 계층적 라우팅을 통해 긴 텍스트의 확장성을 검증하고 여러 데이터셋에서 평가한다.

제안 방법

• BiLSTM으로 단어를 인코딩하여 구문-수준 표현을 얻는다.
• 입력 캡슐에서 출력 캡슐로 정보를 전달하기 위한 다이나믹 라우팅(DR-AGG)을 도입한다.
• 메시지 m_{i→j}를 c_{ij}f(h_i, θ_j)로 계산하고 squash 비선형으로 출력 캡슐 v_j를 업데이트한다.
• 동의(v_j와 f(h_i, θ_j) 간의 일치를 사용하여 c_{ij}를 반복적으로 정제한다}.
• 출력 캡슐을 연결하여 예측을 위한 고정 크기 인코딩 e를 형성한다.
• 출력 캡슐이 입력 캡슐의 수신 정보를 가이드하는 역 DR-AGG를 탐색한다.
• 단어 및 문장 수준에서 라우팅하여 긴 문서를 처리하기 위해 계층적 다이나믹 라우팅을 적용한다.

실험 결과

연구 질문

• RQ1 가변 길이의 단어 인코딩을 고정 크기의 시퀀스 표현으로 효과적으로 집계하려면 어떻게 해야 하는가?
• RQ2 다이나믹 라우팅 정책이 텍스트 분류에서 풀링이나 셀프 어텐션에 비해 정보 전달을 개선하는가?
• RQ3 표준 대 역방향 다이나믹 라우팅이 성능에 어떤 차이를 만들어내는가?
• RQ4 계층적 DR-AGG가 정확도를 희생하지 않으면서 긴 문서에 효율적으로 확장될 수 있는가?

주요 결과

• DR-AGG가 다섯 데이터셋에서 최대 풀링, 평균 풀링 및 셀프 어텐션보다 우수하다.
• 문서 단위 데이터셋 Yelp-2013, Yelp-2014, IMDB에서 DR-AGG는 각각 최상 모델 대비 2.5%, 3.0%, 1.6%의 향상을 보인다.
• SST-1 및 SST-2에서도 DR-AGG가 베이스라인보다 우수한 성능을 달성한다.
• 표준 DR-AGG가 일반적으로 Reverse DR-AGG보다 우수한 정보를 입력에서 출력으로의 라우팅을 시사한다.
• 약 3회의 라우팅 반복이 다양한 캡슐 구성에서 최적의 성능을 낳는다.
• 시각화는 서로 다른 캡슐이 문장의 서로 다른 측면에 특화되어 정보 중복을 줄임을 보여준다.