[論文レビュー] Label Ranking with Abstention: Predicting Partial Orders by Thresholding Probability Distributions (Extended Abstract)

Weiwei Cheng, Eyke Hüllermeier|arXiv (Cornell University)|Dec 2, 2011

Bayesian Modeling and Causal Inference参考文献 5被引用数 4

ひとこと要約

本論文は、確率的モデル（MallowsおよびPlackett-Luce）から導出されたペアワイズ好ましさ確率をしきい値処理することで部分順序を予測する、ラベル順序付けに放棄を組み込んだ新規手法を提案する。先行手法とは異なり、推移性やサイクルの後処理を必要とせず、モデルに基づく確率分布によって一貫性のある部分順序を保証する。実験では、正しさと網羅性のトレードオフが改善されている。

ABSTRACT

We consider an extension of the setting of label ranking, in which the learner is allowed to make predictions in the form of partial instead of total orders. Predictions of that kind are interpreted as a partial abstention: If the learner is not sufficiently certain regarding the relative order of two alternatives, it may abstain from this decision and instead declare these alternatives as being incomparable. We propose a new method for learning to predict partial orders that improves on an existing approach, both theoretically and empirically. Our method is based on the idea of thresholding the probabilities of pairwise preferences between labels as induced by a predicted (parameterized) probability distribution on the set of all rankings.

研究の動機と目的

• 非推移的またはサイクル的な部分順序を生じる可能性がある先行のラベル順序付けに放棄を組み込んだ手法の不整合を是正すること。
• 後処理による修復なしに有効な部分順序を保証する手法の開発。
• 部分順序予測における正しさと網羅性のトレードオフの改善。
• 既存のペアワイズしきい値処理手法に対する理論的に整合的で実験的に有効な代替手法の提供。

提案手法

• 本手法は、順序の上でのPlackett-Luce（PL）またはMallows分布を用いてペアワイズ好ましさ確率をモデル化する。
• すべての順序で $ y_i $ が $ y_j $ より前に来るようなものについて周辺化することで、各ペアワイズ好ましさ確率 $ P(y_i \succ y_j) $ を計算する。
• 部分順序 $ Q $ は、これらの確率をしきい値処理することで生成される：$ Q(y_i, y_j) = 1 $ であれば $ P(y_i \succ y_j) > q $、さもなくば 0。
• しきい値 $ q \in [0.5, 1) $ が、網羅性と正しさのトレードオフを制御する。
• 理論的分析により、置換不変距離を有するPLまたはMallowsモデルにおけるしきい値処理は、常に有効な部分順序を生成することを証明した。
• 先行手法とは異なり、構成上サイクルや推移性の修復を回避する。

実験結果

リサーチクエスチョン

• RQ1 順序の確率的モデルが、後処理なしにしきい値処理によって一貫性のある部分順序予測を可能にするか？
• RQ2 PLまたはMallowsモデルからのペアワイズ確率をしきい値処理することで、すべての $ q \in [0.5, 1) $ に対して有効な部分順序が得られるか？
• RQ3 提案手法は、既存のペアワイズしきい値処理手法と比較して、正しさと網羅性のトレードオフにおいて優れているか？
• RQ4 高い予測正しさを達成しつつ、網羅性を維持または向上させることができるか？

主な発見

• 提案手法は、PLまたはMallowsモデルからのペアワイズ好ましさ確率をしきい値処理することで、すべての $ q \in [0.5, 1) $ に対して有効な部分順序が得られることを保証し、サイクルや推移性の修復の必要性がなくなる。
• 理論的分析により、距離測度の置換不変性が得られる部分順序の一貫性を保証することが確認された。
• UCI VOWELデータセットにおける実験結果から、ベースラインのペアワイズ手法と比較して、本手法はより広い網羅性の範囲を達成している。
• 確率的アプローチにより、正しさと網羅性のトレードオフが改善され、同等またはより良い網羅性レベルで高いガンマ順位相関が達成された。
• 高い網羅性でも高い正しさを維持していることから、曖昧なペアワイズ比較に対して効果的な放棄が可能であることが示された。
• 図1に示すように、複数のしきい値において、本手法はベースラインを上回る正しさと網羅性を達成している。