[논문 리뷰] A Conversationalist Approach to Information Quality in Information Interaction and Retrieval

Frans van der Sluis|arXiv (Cornell University)|2022. 10. 13.

Social Media and Politics인용 수 4

한 줄 요약

이 논문은 검색 및 정보 검색에서 정보 품질을 다루는 대화적 접근을 제안하며, 품질 평가를 전문가나 사용자 피드백에만 의존하는 것이 아니라 사용자 간의 협업적 대화 과정으로 프레임워크화한다. 품질은 본질적으로 상호작용적이며 사회적 일치와 공유 평가에 의해 형성된다고 주장하며, 이러한 대화가 순위 매기기의 관련성과 사용자 참여도를 향상시키고 주류 권위와 인기 중심의 편향을 도전할 수 있다고 제안한다.

ABSTRACT

Rather than using (proxies of) end user or expert judgment to decide on the ranking of information, this paper asks whether conversations about information quality might offer a feasible and valuable addition for ranking information. We introduce a theoretical framework for information quality, outlining how information interaction should be perceived as a conversation and quality be evaluated as a conversational contribution. Next, an overview is given of different systems of social alignment and their value for assessing quality and ranking information. We propose that a collaborative approach to quality assessment is preferable and raise key questions about the feasibility and value of such an approach for ranking information. We conclude that information quality is an inherently interactive concept, which involves an interaction between users of different backgrounds and in different situations as well as of quality signals on users' search behavior and experience.

연구 동기 및 목표

• 정보 품질을 문서의 본질적 성질이 아니라 동적인 상호작용 과정으로 재정의하는 것.
• 현재 전문가나 사용자 피드백에만 의존하는 것보다 협업적이고 대화적인 품질 평가 방식이 순위 매기기 시스템을 향상시킬 수 있는지 조사하는 것.
• 정보 품질 평가 및 순위 매기기에서 사회적 일치 메커니즘의 실현 가능성과 가치를 검토하는 것.
• 권위와 인기 중심의 검색 순위 지배를 도전하기 위해 해석주의적이고 대화적인 품질 모델을 도입하는 것.
• 정보 상호작용에서 불확실성과 인지적 참여가 품질 논의를 통해 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• 정보 상호작용을 대화로 개념화하고, 품질 평가를 대화적 기여로 간주하는 이론적 프레임워크를 제안한다.
• 해석주의적 인식론을 기반으로 품질을 객관적 또는 순수 주관적 성질이 아닌 공동으로 협의된 구성으로 위치시킨다.
• 업보팅, 플래깅, 협업 필터링과 같은 사회적 일치 기반 기술을 포함한 기존 시스템을 검토하며, 대화적 품질 평가의 사전 조건으로 삼는다.
• 불확실성과 인지적 참여가 사용자 참여를 이끄는 데서 수행하는 역할을 분석한다.
• 검색 결과 맥락 내에 내장된 품질 신호가 사용자 정서와 행동에 영향을 미쳐 참여도를 높일 수 있다고 제안한다.
• 향후 시스템은 군중 기반의 현장 기반 평가에 기반해 구조화되고 협업적인 품질 대화를 순위 매기기 메커니즘에 통합해야 한다고 제안한다.

실험 결과

연구 질문

• RQ1 정보 품질을 문서의 본질적 성질이 아니라 대화적 기여로 의미 있게 개념화할 수 있는가?
• RQ2 기존 시스템의 사회적 일치 메커니즘이 대화적 품질 평가 접근에 어떻게 기여하거나 영향을 줄 수 있는가?
• RQ3 사용자가 협업적 품질 논의에 참여할 조건는 무엇이며, 이러한 참여를 이끄는 동기는 무엇인가?
• RQ4 대화적 접근이 정보 검색에서 권위와 인기 중심의 편향을 어느 정도 줄일 수 있는가?
• RQ5 어떻게 설계된 품질 대화가 순위 정밀도와 사용자 경험을 모두 향상시킬 수 있는가?

주요 결과

• 정보 품질은 본질적 성질이 아니라 다양한 사용자들이 서로 다른 맥락에서 상호작용하고 협의함으로써 형성되는 상호작용적이고 협의된 구성이다.
• 현재의 순위 매기기 시스템은 전문가나 사용자 판단의 대체 지표에 크게 의존하며, 이는 기존의 권력 구조와 편향을 유지할 수 있다.
• 사용자는 순위 위치에 강하게 영향을 받지만, 품질에 대한 불확실성이 인지적 참여와 정보 탐색을 유도할 수 있다.
• 사용자가 품질 논의에 참여한 사례는 제한적이지만, 집단지능 모델은 이에 대한 실현 가능성 잠재력을 시사한다.
• 대화적 접근은 가짜 정보 퇱퇴를 목표로 하는 것에서 벗어나 정보의 긍정적 특성을 이해하고 촉진하는 데 초점을 옮길 수 있다.
• 커버리지 한계, 냉각기 문제, 대규모 현장 기반 품질 평가의 필요성으로 인해 확장성은 여전히 도전 과제이다.