[논문 리뷰] Tip of the Tongue Known-Item Retrieval: A Case Study in Movie Identification

Jaime Arguello, Adam Ferguson외 4명|arXiv (Cornell University)|2021. 01. 18.

Emotion and Mood Recognition참고 문헌 40인용 수 4

한 줄 요약

이 논문은 영화 식별 과정에서 기억이 떠오르지 않을 때 발생하는 '혀끝에 맴도는' 상태(TOT)에서의 지식 기반 항목 검색을 조사하며, 사용자가 공동체 질문-답변 데이터를 통해 불완전한 기억을 어떻게 표현하는지 분석한다. 연구 결과, 사용자는 콘텐츠, 맥락, 이전 검색 시도에 의존하며, 유보적 표현과 상대적 비교를 사용하는데, 이러한 전략은 정확하지 않음에도 불구하고 검색 성능을 향상시키는 것으로 나타나, 정보 검색 시스템에서 특화된 쿼리 이해 및 문서 표현 방식이 필요하다는 점을 시사한다.

ABSTRACT

While current information retrieval systems are effective for known-item retrieval where the searcher provides a precise name or identifier for the item being sought, systems tend to be much less effective for cases where the searcher is unable to express a precise name or identifier. We refer to this as tip of the tongue (TOT) known-item retrieval, named after the cognitive state of not being able to retrieve an item from memory. Using movie search as a case study, we explore the characteristics of questions posed by searchers in TOT states in a community question answering website. We analyze how searchers express their information needs during TOT states in the movie domain. Specifically, what information do searchers remember about the item being sought and how do they convey this information? Our results suggest that searchers use a combination of information about: (1) the content of the item sought, (2) the context in which they previously engaged with the item, and (3) previous attempts to find the item using other resources (e.g., search engines). Additionally, searchers convey information by sometimes expressing uncertainty (i.e., hedging), opinions, emotions, and by performing relative (vs. absolute) comparisons with attributes of the item. As a result of our analysis, we believe that searchers in TOT states may require specialized query understanding methods or document representations. Finally, our preliminary retrieval experiments show the impact of each information type presented in information requests on retrieval performance.

연구 동기 및 목표

• 이전에 소비한 영화를 기억하지 못할 때 사용자가 혀끝에 맴도는 상태(TOT)에서 정보 필요성을 어떻게 표현하는지 이해하는 것.
• 영화 제목이나 식별자를 기억하지 못할 때 사용자가 기억하고 전달하는 정보의 유형을 특정하는 것.
• 유보적 표현, 의견, 상대적 비교와 같은 언어적 및 인지 전략이 TOT 상황에서의 검색 효율성에 미치는 영향을 평가하는 것.
• 메타데이터, 콘텐츠 기술, 맥락적 단서가 TOT 지식 기반 항목 검색에서 검색 성능에 실제로 기여하는지 평가하는 것.
• 기억력이 제한되고 높은 좌절감을 느끼는 사용자를 지원하는 미래의 정보 검색 시스템 설계에 통찰을 제공하는 것.

제안 방법

• 공개 질문-답변 사이트 'I Remember This Movie'에서 수집한 1,000건의 TOT 요청에 대해 질적 문장 수준의 코드 분석을 수행하였다.
• 목표 문장의 대상, 의견/감정의 유무, 유보적 표현(불확실성), 상대적 비교의 존재를 포함한 네 가지 차원에서 하향식 코드 체계를 개발하였다.
• 각 문장을 콘텐츠 단서, 맥락 단서, 메타데이터, 자기 반영 전략 등 12개의 구체적 코드 유형 중 하나 이상에 매핑하였다.
• Okapi BM25 모델을 사용하여 검색 실험을 수행하고, 각 코드 유형이 검색 성능에 미치는 영향을 평가하였다.
• 기준 타겟으로 진정한 영화 줄거리 기술을 사용하여 정밀도와 재현율을 측정함으로써 검색 성능을 평가하였다.
• 특정 문장 유형이 포함되었을 때와 아닐 때의 성능을 비교하여 해당 유형이 검색 성공에 기여하는 정도를 평가하였다.

실험 결과

연구 질문

• RQ1 영화 제목을 기억하지 못할 때 혀끝에 맴도는 상태에 있는 사용자가 영화를 식별하기 위해 정보 필요성을 어떻게 표현하는가?
• RQ2 TOT 상태의 사용자가 일반적으로 기억하고 전달하는 정보의 유형—콘텐츠 기반, 맥락 기반, 또는 메타데이터—는 무엇인가?
• RQ3 불확실성 표현(유보적 표현), 의견, 감정, 상대적 비교는 검색 성능에 어떤 영향을 미치는가?
• RQ4 메타데이터(예: 장르, 개봉 연도)와 콘텐츠 기술(예: 줄거리, 분杂)이 TOT 상황에서 효과적인 검색에 얼마나 기여하는가?
• RQ5 모호하거나 애매한 전략이 검색 성능을 떨어뜨리는가, 아니면 여전히 정확한 결과를 지원할 수 있는가?

주요 결과

• TOT 상태의 사용자는 영화의 콘텐츠, 이전의 참여 맥락, 이전의 검색 시도에 대해 일반적으로 기억하고 전달함으로써, 다층적인 기억 회상 전략을 사용하고 있음을 시사한다.
• 유보적 표현과 불확실성 표현은 검색 성능을 떨어뜨리지 않으며, 오히려 목표 영화 기술과 일치하는 유용한 키워드를 제공함으로써 기여한다.
• 상대적 비교(예: 'X만큼 어두운 편은 아니지만, Y만큼 밝지도 않다')는 표현이 모호하더라도 뚜렷한 키워드를 포함하고 있어 검색 성능을 향상시키는 경향이 있다.
• 장르, 톤, 개봉 연도, 언어 등 메타데이터는 해상도가 낮고 영화 간 중복도가 높아 검색에 덜 효과적일 수 있다.
• 시각적 스타일, 줄거리, 내러티브 구조에 대한 언급을 포함한 문장은 메타데이터나 맥락 단서에만 의존하는 문장보다 더 높은 검색 성능을 보였다.
• 이전 검색 시도에 대한 자기 반영 문장이 포함된 문장은 성능에 유의미한 영향을 주지 않아, 정보 검색 시스템에서 이러한 전략을 활용할 수 있음을 시사한다.