[논문 리뷰] Text Embeddings for Retrieval From a Large Knowledge Base

Tolgahan Çakaloğlu, Christian Szegedy외 1명|arXiv (Cornell University)|2018. 10. 24.

Topic Modeling참고 문헌 34인용 수 5

한 줄 요약

이 논문은 대규모 지식 기반에서의 검색 성능을 향상시키기 위해 사전 훈련된 텍스트 임베딩을 개선하기 위해 딥 리미니벌 네ural 네트워크를 제안한다. 특히 SQuAD 데이터셋을 사용하여 검토한다. ELMo 임베딩을 트리플릿 손실과 하드 네거티브 마이닝을 적용해 미세조정함으로써, 기준 임베딩 대비 상위 1개 문단의 재현율을 14% 향상시켰으며, 이는 검색에 특화된 미세조정이 의미적 검색 성능을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

Text embedding representing natural language documents in a semantic vector space can be used for document retrieval using nearest neighbor lookup. In order to study the feasibility of neural models specialized for retrieval in a semantically meaningful way, we suggest the use of the Stanford Question Answering Dataset (SQuAD) in an open-domain question answering context, where the first task is to find paragraphs useful for answering a given question. First, we compare the quality of various text-embedding methods on the performance of retrieval and give an extensive empirical comparison on the performance of various non-augmented base embedding with, and without IDF weighting. Our main results are that by training deep residual neural models, specifically for retrieval purposes, can yield significant gains when it is used to augment existing embeddings. We also establish that deeper models are superior to this task. The best base baseline embeddings augmented by our learned neural approach improves the top-1 paragraph recall of the system by 14%.

연구 동기 및 목표

• 사전 훈련된 텍스트 임베딩의 검색에 특화된 신경망 미세조정이 개방형 질의응답에서 검색 성능을 향상시킬 수 있는지 조사하기.
• 근접한 이웃 검색을 위한 의미적 텍스트 임베딩을 개선하는 데에 깊이 있는 잔차 네트워크의 효과를 평가하기.
• SQuAD 벤치마크에서 특히 ELMo에 IDF 가중치를 적용한 방법과 신경망 미세조정 방법을 비교하기.
• 삼중항 손실과 같은 전용 손실 함수가 제곱 회귀 조건부 손실과 같은 대체 손실 함수보다 성능을 높이는지 여부를 판단하기.
• 다중층 표현 선택 및 미세조정이 검색 재현율 메트릭에 미치는 영향을 평가하기.

제안 방법

• 검색을 위한 의미 표현을 향상시키기 위해 사전 훈련된 ELMo 임베딩을 깊이 있는 잔차 신경망을 사용해 미세조정한다.
• 질문과 관련된 문단 임베딩 간의 거리를 최적화하기 위해 하드 네거티브 마이닝을 적용한 삼중항 손실을 사용한다.
• 신경망 정련 이전에 의미적 관련성을 향상시키기 위해 ELMo 임베딩에 IDF 가중치를 조합한다.
• 이중 스트림 아키텍처를 적용: 질문 인코딩과 문단 인코딩을 각각 별도의 경로로 처리하며, 둘 다 잔차 네트워크를 통해 정련한다.
• 유사한(긍정적) 쌍은 가까이, 비유사한(부정적) 쌍은 멀리 있도록 임베딩 공간에서 정렬하는 대비 학습 목표를 사용한다.
• SQuAD 지식 기반에서 상위-k 결과의 재현율@1 및 평균 재현율을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 임베딩 위에 깊이 있는 잔차 네트워크를 훈련시키는 것이 개방형 질의응답에서 검색 성능을 크게 향상시킬 수 있는가?
• RQ2 하드 네거티브 마이닝을 적용한 삼중항 손실의 사용이 다른 손실 함수보다 질문과 관련된 문단 간의 의미 정렬을 더 잘 개선하는가?
• RQ3 임베딩 작업에서 ELMo에 IDF 가중치를 적용한 결과는 다른 기본 임베딩 모델과 비교해 어떤가?
• RQ4 잔차 네트워크를 사용한 미세조정이 원본 ELMo 기준 대비 상위 1개 재현율을 얼마나 향상시키는가?
• RQ5 제안된 방법이 검색 정확도에서 최신 기술 수준의 유니버설 문장 인코더(USE)를 초월할 수 있는가?

주요 결과

• 최고의 성능을 보인 모델인 FCRR + ConvRR는 미세조정된 문단 임베딩을 사용해 상위 1개 재현율 16.1%를 기록했으며, 이는 기준 임베딩 기준 14% 상대적 향상이다.
• ELMo 임베딩에 미세조정된 잔차 네트워크를 추가함으로써 상위 1개 재현율이 원본 ELMo 기준 대비 13.56%포인트 향상되었다.
• 하드 네거티브 마이닝을 적용한 삼중항 손실의 사용은 ELMo + IDF 기준 대비 상위 1개 재현율에서 9.36%의 절대적 향상 효과를 보였다.
• 제곱 회귀 조건부 손실 함수는 성능 향상을 이루지 못했으며, 삼중항 손실보다 성능이 열 劣하였다.
• 문단 임베딩의 미세조정은 원본 ELMo 기준 대비 상위 1개 재현율에서 7.95%포인트 향상되었으며, 평균 재현율은 20.2%포인트 향상되었다.
• 비록 향상되었지만, 최고의 모델는 완전히 미세조정된 유니버설 문장 인코더(USE) 버전에 비해 여전히 성능이 열 劣하여 향후 최적화 여지가 있음을 시사한다.