[논문 리뷰] An information measure for comparing top $k$ lists

Arun S. Konagurthu, James H. Collier|arXiv (Cornell University)|2013. 10. 01.

Machine Learning and Algorithms참고 문헌 14인용 수 4

한 줄 요약

이 논문은 최소 메시지 길이 인코딩을 사용하여 압축 가능성(압축 가능성)을 추정함으로써 상위 $k$ 리스트를 비교하기 위한 정보이론적 측도를 제안한다. 기존의 메트릭과 달리, 이 측도는 비중복, 순위 이동, 중복 요소의 혼란도를 객관적으로 균형 잡고 있으며, $k$에 대해 선형 성장을 보이며, 스피어만의 발자국 거리와 켄달 타우 거리의 제곱 성장과 대비된다. 이는 대규모 리스트 비교에 더 강건한 성능을 제공한다.

ABSTRACT

Comparing the top $k$ elements between two or more ranked results is a common task in many contexts and settings. A few measures have been proposed to compare top $k$ lists with attractive mathematical properties, but they face a number of pitfalls and shortcomings in practice. This work introduces a new measure to compare any two top k lists based on measuring the information these lists convey. Our method investigates the compressibility of the lists, and the length of the message to losslessly encode them gives a natural and robust measure of their variability. This information-theoretic measure objectively reconciles all the main considerations that arise when measuring (dis-)similarity between lists: the extent of their non-overlapping elements in each of the lists; the amount of disarray among overlapping elements between the lists; the measurement of displacement of actual ranks of their overlapping elements.

연구 동기 및 목표

• 기존의 상위-$k$ 리스트 비교 메트릭의 한계를 해결하기 위해, 이는 종종 제곱 성장을 보이며 중복 요소의 순위 이동과 혼란도를 고려하지 못한다는 점이다.
• 비교 기준으로서의 비중복, 중복 요소의 혼란도, 순위 이동을 객관적으로 균형 잡는 통계적으로 엄밀한 정보이론적 측도를 개발하기 위해.
• 비중복 요소에 민감하고 임의의 파rameter에 의존하는 기존 메트릭의 대안으로서 확장 가능하고 강건한 대체 방법을 제공하기 위해.
• 검색 엔진 결과, 유전자 발현 연구, 추천 시스템과 같은 애플리케이션에서 순위 리스트 간 비교를 더 신뢰성 있게 가능하게 하기 위해.

제안 방법

• 이 방법은 최소 메시지 길이(MML) 인코딩을 사용하여 두 상위-$k$ 리스트의 정보량을 추정하며, 손실 없는 인코딩 길이를 변동성의 척도로 간주한다.
• 중복 요소의 압축을 요소의 순열을 나타내는 팩터리아드 표현을 사용하여 모델링함으로써, 집합적 카운트로 요약하는 대신 개별 기여도를 포착한다.
• 비중복 요소는 LZW 압축을 사용하여 인코딩하며, 메시지 길이가 전체 정보 비용에 기여하는 정도를 반영한다.
• 총 정보 비용은 공통 모델을 사용하여 두 리스트를 함께 인코딩하는 데 필요한 메시지 길이의 합으로 계산되며, 이는 중복과 순위 차이를 고려한다.
• 전체 도메인 크기가 알려져 있지 않은 것으로 가정하며, 3.2절의 케이스 2를 사용하여 전체 요소 집합에 대한 사전 지식 없이 정보량을 추정한다.
• 압축에서 정보의 가산성에 기반하여, 비중복, 혼란도, 이동성이라는 상충되는 기준을 암묵적으로 균형 잡는다.

실험 결과

연구 질문

• RQ1 비중복, 순위 이동, 중복 요소의 혼란도를 고려하면서도 두 상위-$k$ 리스트 간의 변동성을 객관적으로 측정하는 방법은 무엇인가?
• RQ2 왜 기존 메트릭인 스피어만의 발자국 거리와 켄달 타우 거리는 $k$에 대해 제곱 성장을 보이며, 이 성장 방식은 실무에서 정당한가?
• RQ3 정보이론적 압축은 대규모 리스트 비교 작업에서 기존 메트릭에 비해 더 강건하고 확장 가능한 대안이 될 수 있는가?
• RQ4 상위 요소 집합이 $k$ 증가에 따라 변동할 때, 제안된 정보 측도는 어떻게 행동하는가?

주요 결과

• 정보 비용은 스피어만의 발자국 거리와 켄달 타우 거리의 제곱 성장과 대비하여 $k$에 대해 약 선형 성장을 보이며, 이는 더 뛰어난 확장성을 의미한다.
• 새로운 요소가 중복 요소 집합을 증가시켜 정보 비용에 변동이 생기며, 이는 비중복 요소 수의 감소로 인해 압축 비용에 네트워크 절감 효과를 초래한다.
• 250개의 검색 쿼리에 대한 검색 엔진 비교에서 $k > 50$일 경우 정보 비용은 스피어만과 켄달 거리보다 상당히 덜 증가함을 보였으며, 이는 더 높은 안정성을 의미한다.
• 기존의 집합적 측도(예: 전위 교환 수)와 달리, 팩터리아드 자릿수를 통해 혼란도에 대한 개별 기여도를 포착함으로써 순열의 구조적 민감도를 더 세밀하게 반영한다.
• 영화 리스트 비교에서 정보 측도는 IMDb와 Goodmovies 리스트가 다른 쌍보다 더 유사하다는 점을 정확히 반영하였으며, 정성적 기대와 일치한다.
• 이 방법은 상충되는 유사도 기준 간 원칙적인 객관적 트레이드오프를 제공하며, 켄달 기반 확장에서의 페널티 $p$와 같은 임의의 파rameter를 피한다.