[論文レビュー] An information measure for comparing top $k$ lists

Arun S. Konagurthu, James H. Collier|arXiv (Cornell University)|Oct 1, 2013

Machine Learning and Algorithms参考文献 14被引用数 4

ひとこと要約

本稿では、最小メッセージ長符号化を用いて可逆圧縮性を推定することにより、上位$k$個のリストを比較する情報理論的測度を提案する。従来の指標とは異なり、重複のない要素、重複要素の順位のずれ、および不整列度を客観的にバランスさせる。これは$k$に関して線形増加を示すが、スピアマンの足場則やケンダールのtau距離が示す2次関数的増加とは対照的であり、大規模なリスト比較においてより頑健であることを示している。

ABSTRACT

Comparing the top $k$ elements between two or more ranked results is a common task in many contexts and settings. A few measures have been proposed to compare top $k$ lists with attractive mathematical properties, but they face a number of pitfalls and shortcomings in practice. This work introduces a new measure to compare any two top k lists based on measuring the information these lists convey. Our method investigates the compressibility of the lists, and the length of the message to losslessly encode them gives a natural and robust measure of their variability. This information-theoretic measure objectively reconciles all the main considerations that arise when measuring (dis-)similarity between lists: the extent of their non-overlapping elements in each of the lists; the amount of disarray among overlapping elements between the lists; the measurement of displacement of actual ranks of their overlapping elements.

研究の動機と目的

• 既存の上位$k$個のリスト比較指標の限界に対処すること。これらはしばしば2次関数的増加を示し、重複要素の順位のずれや不整列度を十分に考慮しない。
• 非重複、重複要素の不整列度、順位のずれという3つの主要基準を客観的にバランスさせる統計的に厳密な情報理論的測度の開発。
• 非重複要素や任意のパrameterに敏感な従来の指標とは対照的に、スケーラブルで頑健な代替指標の提供。
• 検索エンジンの結果、遺伝子発現研究、レコメンデーションシステムなどの応用分野における順位付きリストのより信頼性の高い比較を可能にする。

提案手法

• 本手法は、最小メッセージ長（MML）符号化を用いて、2つの上位$k$個のリストの情報量を推定し、可逆符号化長を変動性の指標として扱う。
• 重複要素の圧縮を、置換の階乗表現（factoradic representation）を用いてモデル化し、集計カウントによる要約ではなく、個々の不整列度への寄与を捉える。
• 非重複要素はLZW圧縮を用いて符号化され、メッセージ長が全体の情報コストへの寄与を反映する。
• 総合的な情報コストは、重複と順位差を考慮した共通モデル下で2つのリストを同時に符号化するために必要なメッセージ長の和として計算される。
• 全要素集合のサイズが未知であると仮定し、3.2節のケース2を用いて、全要素集合の事前知識なしに情報量を推定する。
• 圧縮における情報の加法的性質を活用することで、非重複、不整列度、ずれといった相反する基準を暗黙的にバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 非重複、重複要素の順位のずれ、および重複要素の不整列度を考慮しつつ、2つの上位$k$個のリスト間の変動性を客観的に測定する方法は何か？
• RQ2 従来の指標であるスピアマンの足場則やケンダールのtau距離が$k$に関して2次関数的増加を示すのはなぜか？この挙動は実際の応用において正当化できるか？
• RQ3 情報理論的圧縮は、大規模なリスト比較タスクにおいて、従来の指標のより頑健でスケーラブルな代替手段として機能できるか？
• RQ4 重複要素の集合が$k$の増加に伴い変動する場合、提案された情報測度はどのように振る舞うか？

主な発見

• 情報コストは$k$に関してほぼ線形に増加するが、スピアマンの足場則やケンダールのtau距離は2次関数的増加を示すため、本手法はよりスケーラブルである。
• 新しい要素が重複集合を拡大させることで、情報コストに変動が生じるが、非重複要素の減少に伴い符号化コストのネット削減が生じる。
• 250件の検索クエリにおける検索エンジン比較では、$k > 50$の範囲で情報コストはスピアマンおよびケンダールの距離よりも著しく成長が小さいことが示され、より高い安定性を示した。
• 本手法は、トランスポジション数のような集計指標とは異なり、因子的表現の桁数を用いて不整列度への個々の寄与を捉えるため、置換構造に対するより細かく精密な感度を持つ。
• 映画リストの比較において、情報測度はIMDbとGoodmoviesのリストが他のペアよりも類似していることを正しく反映しており、定性的な期待と整合的であった。
• 本手法は、ケンダールに基づく拡張におけるペナルティ$p$のような任意のパrameterを避ける、原理的で客観的な類似基準のトレードオフを提供する。