[논문 리뷰] Replicated Siamese LSTM in Ticketing System for Similarity Learning and Retrieval in Asymmetric Texts

Pankaj Gupta, Bernt Andrassy외 1명|arXiv (Cornell University)|2018. 07. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 비대칭 텍스트 쌍—짧은 쿼리(제목, 설명) 대 긴 이력 티켓(제목, 설명, 해결 방법)—을 고려한 산업 티켓 시스템에서 의미적 유사도 학습과 검색을 향상시키기 위해 복제된 시아네즈 LSTM 아키텍처를 제안한다. 다수준(제목, 설명, 해결 방법) 및 다중 채널(분산 임베딩, LSTM, 주제 벡터) 표현을 활용함으로써, 모델은 비지도 기반 기준 대비 22%의 정확도 향상을, 지도 학습 기반 기준 대비 7%의 향상을 달성하여 실제 유사도 검색 작업에서 뚜렷한 향상을 보였다.

ABSTRACT

The goal of our industrial ticketing system is to retrieve a relevant solution for an input query, by matching with historical tickets stored in knowledge base. A query is comprised of subject and description, while a historical ticket consists of subject, description and solution. To retrieve a relevant solution, we use textual similarity paradigm to learn similarity in the query and historical tickets. The task is challenging due to significant term mismatch in the query and ticket pairs of asymmetric lengths, where subject is a short text but description and solution are multi-sentence texts. We present a novel Replicated Siamese LSTM model to learn similarity in asymmetric text pairs, that gives 22% and 7% gain (Accuracy@10) for retrieval task, respectively over unsupervised and supervised baselines. We also show that the topic and distributed semantic features for short and long texts improved both similarity learning and retrieval.

연구 동기 및 목표

• 용어 불일치와 구조적 비대칭성이 검색을 어렵게 하는 산업 티켓 시스템에서 짧은 쿼리와 긴 이력 티켓 간의 의미적 유사도 학습 과제를 해결한다.
• 쿼리-티켓 쌍의 구성 요소(제목, 설명, 해결 방법) 간의 다수준 및 교차 수준 의미적 유사도를 모델링하여 정보 검색 성능을 향상시킨다.
• 분산 단어 임베딩, LSTM로 인코딩된 표현, 신경 주제 모델링을 보완 입력 채널으로 사용하여 검색 정확도를 향상시킨다.
• 제한된 레이블 데이터를 가진 실제 산업 응용에서 새로운 복제된 시아네즈 LSTM 아키텍처의 효과성을 입증한다.
• 기존의 시아네즈 네트워크가 일반적으로 대칭 문장 쌍을 다루는 데에 그치는 데 비해, 이는 비대칭이며 다중 구성 요소 텍스트 쌍으로 확장된다.

제안 방법

• 동일한 가중치를 공유하는 이중 브랜치를 통해 쿼리(SUB1+DESC1)와 이력 티켓(SUB2+DESC2+SOL2) 구성 요소를 처리하는 복제된 시아네즈 LSTM 아키텍처를 제안하여 공유 표현을 학습한다.
• 다중 채널 입력 통합: 단어 임베딩(SumEMB), LSTM로 인코딩된 은닉 상태(LSTM), 주제 벡터(T)를 통해 의미 표현을 풍부하게 한다.
• 모든 구성 요소 쌍(SUB1 vs. SUB2, SUB1 vs. DESC2 등) 간의 쌍별 유사도를 가중 L1 거리로 계산하는 다중 채널 맨하탄 거리 손실 함수를 정의한다.
• 표현 간의 가중 L1 거리의 음수 지수를 취한 목적 함수를 수식으로 기술한다: $ g = \exp\big(-\sum_{p,q} V_{\{p,q\}} (W_h\|h_p - h_q\|_1 + W_E\|E_p - E_q\|_1 + W_T\|T_p - T_q\|_1) \big) $.
• 문서에서 주제 벡터를 학습하기 위해 DocNADE를 사용하여 장문의 설명 및 해결 방법과 같은 텍스트에서 주제 인식 의미 모델링을 가능하게 한다.
• 대조 손실을 사용하여 관련 쿼리-티켓 쌍 간의 유사도 점수를 최적화하기 위해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 비대칭 텍스트 쌍(다양한 길이 및 구조)을 효과적으로 모델링할 수 있는 복제된 시아네즈 LSTM 아키텍처는 의미적 유사도 학습에 효과적인가?
• RQ2 다수준(제목, 설명, 해결 방법) 및 다중 채널(단어 임베딩, LSTM, 주제 벡터) 표현을 통합하면 산업 티켓 시스템의 유사도 학습 성능이 향상되는가?
• RQ3 실제 티켓 데이터 기반으로 제안된 모델은 비지도 및 지도 학습 기준 대비 검색 성능에서 어떻게 비교되는가?
• RQ4 주제 모델링과 분산 의미 특징은 짧은 텍스트 및 긴 텍스트 구성 요소에서 유사도 학습을 얼마나 향상시키는가?
• RQ5 제한된 레이블 데이터와 심한 용어 불일치가 존재하는 실제 산업 응용에서 모델은 일반화 가능한가?

주요 결과

• 제안된 복제된 시아네즈 LSTM 모델은 산업 티켓 시스템에서 비지도 기준 대비 Accuracy@10에서 22%의 절대적 향상을 달성했다.
• 모델은 지도 학습 기준 대비 Accuracy@10에서 7%의 절대적 향상을 달성하여, 레이블 데이터가 제한된 상황에서도 뛰어난 성능을 보였다.
• 주제 벡터와 분산 의미 특징의 통합은 특히 장문의 설명 및 해결 방법에서 의미적 유사도 학습을 크게 향상시켰다.
• 교차 수준의 유사도(예: 쿼리 제목에서 티켓 해결 방법)는 검색 성능 향상에 의미 있는 기여를 하였으며, 다수준 모델링 접근 방식의 타당성을 입증하였다.
• 표준 시아네즈 네트워크보다는 다중 구성 요소 및 표현 채널을 통해 비대칭 텍스트 쌍을 명시적으로 모델링함으로써 성능이 뛰어나졌다.
• 모델은 산업 분야 간에 잘 일반화되며, 수작업으로 만든 언어학적 특징에 대한 의존도를 줄여 보편적으로 적용 가능한 아키텍처가 되었다.