[논문 리뷰] Denoising Bodies to Titles: Retrieving Similar Questions with Recurrent Convolutional Models.

Tao Leí, Hrishikesh Joshi외 5명|arXiv (Cornell University)|2015. 12. 17.

Topic Modeling참고 문헌 20인용 수 5

한 줄 요약

이 논문은 게이트형 컨볼루션을 사용한 하이브리드 순환-컨볼루션 모델을 제안하여 질문 본문을 그 의미적 제목으로 매핑함으로써 의미적으로 유사한 질문을 검색할 수 있도록 한다. 원시 포럼 데이터로 종합적으로 사전 훈련하고, 제한된 주석 데이터로 미세 조정한 모델은 정보 검색 기반 모델보다 10% 향상되었으며, CNN 및 LSTM과 같은 표준 신경망 모델보다 6% 향상되었다.

ABSTRACT

Question answering forums are rapidly growing in size with no automated ability to refer to and reuse existing answers. In this paper, we develop a methodology for finding semantically related questions. The task is difficult since 1) key pieces of information are often buried in extraneous detail in the question body and 2) available annotations are scarce and fragmented, driven by participants. We design a novel combination of recurrent and convolutional models (gated convolutions) to effectively map questions to their semantic representations. The models are pre-trained within an encoder-decoder framework (from body to title) on the basis of the entire raw corpus, and fine-tuned discriminatively from limited annotations. Our evaluation demonstrates that our model yields 10\% gain over a standard IR baseline, and 6\% over standard neural network architectures (including CNNs and LSTMs) trained analogously.

연구 동기 및 목표

• 제한된 레이블 데이터가 있는 성장하는 질문-답변 포럼에서 의미적으로 유사한 질문을 검색하는 문제를 해결하기 위해.
• 잡음이 많고 상세한 질문 본문에서 핵심 의미적 내용을 추출하는 데 어려움을 극복하기 위해.
• 원시 포럼 코퍼스를 사전 훈련에 활용하고, 제한된 주석 데이터로 미세 조정하는 방법을 개발하기 위해.
• 표준 정보 검색 및 신경망 기반 모델보다 질문 검색 성능을 향상시키기 위해.

제안 방법

• 게이트형 컨볼루션 네트워크를 사용하여 질문 본문을 조밀한 의미적 표현으로 인코딩한다.
• 모델은 인코더-디코더 프레임워크에서 질문 제목을 본문에서 재구성함으로써 사전 훈련된다.
• 모델 아키텍처는 텍스트의 순차적 패턴과 국소적 패턴을 모두 포착하기 위해 순환층과 컨볼루션층을 결합한다.
• 실제 포럼 상호작용에서 유래한 흐트러진, 희박한 주석을 사용하여 분류적으로 미세 조정한다.
• 적응 이전에 원시 데이터에서 종단 간 훈련을 통해 강력한 의미적 표현을 학습하기 위해 모델이 종합적으로 훈련된다.
• 게이트형 컨볼루션은 관련 입력 패턴에 집중함으로써 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 신경망 모델이 잡음이 많고 상세한 질문 본문을 그 핵심 의미적 제목으로 효과적으로 매핑할 수 있는가?
• RQ2 제한된 주석 데이터만 존재할 때 원시 포럼 데이터로 사전 훈련하면 검색 성능이 얼마나 향상되는가?
• RQ3 하이브리드 순환-컨볼루션 아키텍처가 질문 검색에서 표준 정보 검색 및 신경망 기반 모델보다 뛰어나게 성능을 내는가?
• RQ4 희박한 주석 데이터로의 미세 조정이 자원이 제한된 환경에서 모델 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 제안된 모델은 의미적으로 유사한 질문을 검색하는 데 있어 표준 정보 검색(IR) 기반 모델보다 10% 상대적인 성능 향상을 달성한다.
• 동일한 조건에서 훈련된 경우, CNN 및 LSTM과 같은 표준 신경망 아키텍처보다 검색 정확도에서 6% 향상된다.
• 전체 원시 코퍼스로 사전 훈련하면 제한된 레이블 데이터가 존재하더라도 모델 성능이 크게 향상된다.
• 게이트형 컨볼루션과 종단 간 사전 훈련의 조합은 효과적인 노이즈 필터링과 의미적 표현 학습을 가능하게 한다.
• 희박한 주석 데이터로의 미세 조정은 의미 있는 성능 향상을 이끌어내며, 모델이 실제 포럼 데이터에 적응하는 데서의 유연성을 보여준다.