[論文レビュー] A Structured Prediction Approach for Label Ranking

Anna Korba, Alexandre Garcia+1 more|arXiv (Cornell University)|Jul 6, 2018

Machine Learning and Data Classification参考文献 1被引用数 18

ひとこと要約

本稿では、順序データのための特別な埋め込みを用いた最小二乗サーミュラット回帰問題として定式化することにより、ラベル順序付けの構造的予測アプローチを提案する。3つの埋め込み（ケメンイ、レーマー、ハミング）を導入し、効率的なプレ画像回復を可能にするとともに、ベンチマークデータセットで最先端の性能を達成しており、複数のデータセットでケンダールのτスコアが常に0.92以上である。

ABSTRACT

We propose to solve a label ranking problem as a structured output regression task. We adopt a least square surrogate loss approach that solves a supervised learning problem in two steps: the regression step in a well-chosen feature space and the pre-image step. We use specific feature maps/embeddings for ranking data, which convert any ranking/permutation into a vector representation. These embeddings are all well-tailored for our approach, either by resulting in consistent estimators, or by solving trivially the pre-image problem which is often the bottleneck in structured prediction. We also propose their natural extension to the case of partial rankings and prove their efficiency on real-world datasets.

研究の動機と目的

• 構造的出力空間における構造的出力予測問題としてのラベル順序付けの課題に対処すること。
• 一貫性のある推定器と取り扱いやすいプレ画像解法を保証する順序データのための埋め込みを開発すること。
• トップ-kや対比較を含む部分的・不完全順序へのフレームワークの拡張を図ること。
• 提案された埋め込みと回帰フレームワークに対して理論的保証とアルゴリズムの効率性を提供すること。
• 実世界のデータセットにおいて、最先端の手法と比較して本手法の実証的妥当性を検証すること。

提案手法

• 最小二乗サーミュラット損失関数を用いて、ラベル順序付けを構造的出力回帰問題として定式化する。
• ヒルバート空間における順序の表現を可能にする特別な特徴写像（埋め込み）を用いる：ケメンイ、レーマー、ハミング埋め込み。
• ケメンイ埋め込みを用いて、ケンダールのτ距離の二乗和を最小化し、一貫性のある推定を可能にする。
• レーマー埋め込みを用いて、逆写像による自明なプレ画像回復を可能にし、NP困難な最適化を回避する。
• ハミング埋め込みを部分的順序に用い、凸最適化問題を解くプレ画像ステップを実装する。
• 2段階の学習パイプラインとして、埋め込みステップと回帰器（kNNまたはリッジ回帰）を組み合わせる：ヒルバート空間における回帰の後にプレ画像回復を実行する。

実験結果

リサーチクエスチョン

• RQ1 最小二乗サーミュラット損失を用いた構造的予測問題としてのラベル順序付けは、効果的にフレームワーク化可能か？
• RQ2 提案された埋め込み（ケメンイ、レーマー、ハミング）は、一貫性のある推定器と効率的なプレ画像回復を保証するか？
• RQ3 これらの埋め込みとプレ画像ステップのアルゴリズム的複雑度は、従来の手法と比較してどのように異なるか？
• RQ4 標準ベンチマークデータセットにおける本手法の実証的性能（ケンダールのτスコア）はいかがなっているか？
• RQ5 本フレームワークは、トップ-kや対比較を含む部分的・不完全順序に自然に拡張可能か？

主な発見

• ケメンイおよびレーマー埋め込みに基づくモデルは、すべてのベンチマークデータセットで平均ケンダールのτスコアが0.92を超えており、ケメンイベースのkNNモデルは著者性データセットで0.94±0.02を達成している。
• レーマー埋め込みにより、kNNを用いた予測の計算量がO(KN)に抑えられ、従来のO(NK log K)のソーティングステップを要する手法よりも著しく高速化されている。
• ハミング埋め込みはケンダールのτでは低い性能を示すが、ハミング距離の最小化において優れた性能を示しており、異なる評価基準に適していることが示唆される。
• リッジ回帰とレーマー埋め込みを組み合わせた本手法は、著者性データセットで0.92±0.02のケンダールのτを達成し、一部の状況では最先端のCheng PL手法（0.94±0.02）を上回っている。
• ワインやアイrisなどのデータセットにおいて、最近の手法（例：Random Forest Label Ranking (Zhou RF)）と同等の性能を示しており、競争力がある。
• 理論的分析により、過剰サーミュラットリスクの制御が真のリスクの制御を意味することを確認しており、本手法の一貫性が裏付けられている。