[논문 리뷰] Deep Learning Relevance: Creating Relevant Information (as Opposed to Retrieving it)

Christina Lioma, Birger Larsen외 2명|VBN Forskningsportal (Aalborg Universitet)|2016. 06. 24.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

이 논문은 기존의 관련 문서에서 학습하는 순환 신경망(Recurrent Neural Network, RNN)을 사용하여 주어진 쿼리에 대해 단일의 새로운, 잠재적으로 더 관련성이 높은 문서를 합성하는 새로운 정보 검색 접근법을 제안한다. 사용자들이 워드클라우드를 평가한 결과, 합성 문서는 평균적으로 가장 관련성이 높은 것으로 평가되었으며, 모든 쿼리에서 평균 순위 위치는 1.81이었다.

ABSTRACT

What if Information Retrieval (IR) systems did not just retrieve relevant information that is stored in their indices, but could also "understand" it and synthesise it into a single document? We present a preliminary study that makes a first step towards answering this question. Given a query, we train a Recurrent Neural Network (RNN) on existing relevant information to that query. We then use the RNN to "deep learn" a single, synthetic, and we assume, relevant document for that query. We design a crowdsourcing experiment to assess how relevant the "deep learned" document is, compared to existing relevant documents. Users are shown a query and four wordclouds (of three existing relevant documents and our deep learned synthetic document). The synthetic document is ranked on average most relevant of all.

연구 동기 및 목표

• 정보 검색 시스템이 색인된 문서를 검색하는 것 이상으로, 의미적으로 일관되고 관련성이 높은 새로운 문서를 생성할 수 있는지 탐색한다.
• 딥러닝 모델이 관련 문서로부터 잠재적인 의미적 구조를 학습하고, 쿼리에 대해 단일의 통합된 합성 문서를 생성할 수 있는지 조사한다.
• 합성 문서와 기존의 관련 문서 간의 관련성에 대한 사용자 인식을 평가한다.
• 문자 수준의 임bedding을 사용한 RNN을 활용해 일관되고 관련성이 높은 합성 콘텐츠를 생성하는 것이 가능한지 평가한다.

제안 방법

• 쿼리의 텍스트와 알려진 관련 문서의 텍스트를 기반으로 문자 수준의 장기 단기 기억(Long Short-Term Memory, LSTM) 순환 신경망(RNN)을 훈련시어 합성 문서를 생성한다.
• RNN은 문자 시퀀스를 처리함으로써 입력 문서의 의미적 구조를 학습하여, 훈련 문서의 내용을 반영한 새로운 일관된 텍스트를 생성할 수 있다.
• 사용자가 신속하게 시각적으로 평가할 수 있도록, 합성 문서와 세 개의 기존 관련 문서에서 워드클라우드를 생성한다.
• 크라우드소싱 실험을 통해 각 쿼리에 대해 네 개의 워드클라우드(세 개의 실제 문서, 한 개의 합성 문서)를 제시하고, 사용자들이 관련성에 따라 순위를 매겨 문서 품질에 대한 인식을 평가한다.
• 모델은 예측 오차를 최소화하기 위해 시간에 따라 역전파(Backpropagation through time)를 사용하여 훈련되며, 타당하고 관련성이 높은 텍스트를 생성하도록 학습된다.
• 이 방법은 훈련 세트의 모든 관련 정보를 포함하는 합성 문서가 개별 문서보다 더 관련성이 높을 것이라는 가정을 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 주어진 쿼리에 대해 기존의 관련 문서보다 더 관련성이 높게 인식되는 합성 문서를 생성할 수 있는가?
• RQ2 문자 수준의 임베딩을 사용한 RNN의 사용이 기존 정보 검색 문서에서 의미적으로 일관되고 관련성이 높은 텍스트를 합성하는 데 기여하는가?
• RQ3 사용자 인식에서 합성 문서와 실제 색인된 관련 문서 간의 관련성은 어떻게 비교되는가?
• RQ4 시각적 표현 방식(예: 워드클라우드)의 선택이 사용자에 의한 문서 관련성 평가에 어떤 영향을 미치는가?

주요 결과

• 합성 문서는 모든 쿼리와 사용자 평균에서 가장 관련성이 높은 것으로 평가되었으며, 평균 순위 위치는 1.81이었다.
• 101개의 쿼리 중 45개에서 합성 문서가 1위로 평가되었고, 42개는 2위로 평가되어 강한 사용자 선호도를 보였다.
• 합성 문서 중 두 개만이 마지막 순위(4위)로 평가되었는데, 이는 단일 또는 두 개의 단어가 시각적으로 지배적이었기 때문에 다른 내용이 가려져 관련성 인식이 떨어졌기 때문이다.
• 결과는 RNN 기반의 합성 기법이 개별로 검색된 문서보다 더 관련성이 높은 문서를 생성할 수 있음을 시사하며, 간소화된 워드클라우드를 통한 평가에서도 그 결과가 유지됨을 보여준다.
• 사용자 인식 평가에서 이 방법은 베이스라인 검색 기법을 능가하며, 이는 합성 문서 생성 기법이 정보 검색의 관련성 향상에 기여할 수 있음을 시사한다.
• 이 접근법은 상위 검색 문서의 재순서 정렬에 유망한 가능성을 보이지만, 색인 내 전체 문서에 적용했을 때는 덜 효과적이었다.