[論文レビュー] Leveraging Low-Rank Relations Between Surrogate Tasks in Structured Prediction

Giulia Luise, Dimitrios Stamos+2 more|arXiv (Cornell University)|Mar 2, 2019

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、符号化/復号化関数の明示的知識を必要とせずに、仮想出力間の低ランク関係を活用する、構造予測のための新しいトレースノルム正則化手法を提案する。変分的定式化を用いることで、高次元または無限次元の仮想空間においても効率的な学習が可能となり、特定の設定において標準的な $μat$ 正則化よりも優れた一般化性能を示す過剰リスクバウンドを確立する。順序付けタスクにおける実験的検証により、顕著な性能向上が確認された。

ABSTRACT

We study the interplay between surrogate methods for structured prediction and techniques from multitask learning designed to leverage relationships between surrogate outputs. We propose an efficient algorithm based on trace norm regularization which, differently from previous methods, does not require explicit knowledge of the coding/decoding functions of the surrogate framework. As a result, our algorithm can be applied to the broad class of problems in which the surrogate space is large or even infinite dimensional. We study excess risk bounds for trace norm regularized structured prediction, implying the consistency and learning rates for our estimator. We also identify relevant regimes in which our approach can enjoy better generalization performance than previous methods. Numerical experiments on ranking problems indicate that enforcing low-rank relations among surrogate outputs may indeed provide a significant advantage in practice.

研究の動機と目的

• 出力空間が非ベクトル空間（例：置換、グラフ）である構造予測の課題に対処し、出力間の関係性を活用するように補助的手法を拡張すること。
• 補助符号化/復号化関数の明示的知識を必要としない効率的な学習アルゴリズムの開発により、大規模または無限次元の補助空間への応用を可能にすること。
• 提案された推定子の理論的過剰リスクバウンドの確立により、トレースノルム正則化のもとで一貫性と向上した学習レートを示すこと。
• トレースノルム正則化が構造予測設定において標準的な $μat$ 正則化を上回る条件を同定すること。
• 学習順序付け問題における手法の実証的検証により、補助出力における低ランク構造の強制が実用的利点をもたらすことを示すこと。

提案手法

• 本手法は、符号化関数の明示的知識に依存せずに、予測の間の低ランク構造を促進するために補助出力演算子にトレースノルム正則化を適用する。
• 無限次元再生核ヒルバート空間でさえも効率的な最適化手順を導出可能な、トレースノルム正則化の変分的定式化を用いる。
• トレースノルムを低ランク誘導ペナルティとして機能させるために、作用素のヒルバート空間におけるTikhonov正則化付きベクトル値回帰問題として学習問題を定式化する。
• 理論的分析により、トレースノルム正則化のIvanov形式とTikhonov形式の等価性を確立し、安定な最適化と一般化保証を可能にする。
• 表現定理を適用することで、最小化子が有限次元部分空間内に存在することを示し、計算の実行可能性を保証する。
• 復号化を最適化後に行うことで、補助損失の最小化を通じて構造予測に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 符号化関数の明示的知識がなくても、仮想出力間の低ランク正則化が構造予測における一般化性能の向上に寄与するか？
• RQ2 どのような設定でトレースノルム正則化が標準的な $μat$ 正則化よりも優れた学習速度と過剰リスクバウンドを達成するか？
• RQ3 無限次元の補助空間において、トレースノルム正則化付き構造予測のための効率的な最適化アルゴリズムを導出可能か？
• RQ4 仮想出力に低ランク構造を強制することで、実世界の構造予測タスクで測定可能な性能向上が得られるか？
• RQ5 提案された推定子の理論的過剰リスクバウンドは、ベクトル値学習およびマルチタスク学習の既存結果と比較してどのように異なるか？

主な発見

• 提案手法は、真の出力構造が低ランクである場合に特に、標準的な $μat$ 正則化よりも優れた一般化性能を達成する。
• トレースノルム正則化推定子のための過剰リスクバウンドが導出され、ベクトル値回帰分野における先行研究を拡張する一貫性と学習速度が保証された。
• 理論的分析により、最小二乗損失に対してもトレースノルム正則化が $μat$ 正則化よりも顕著な利点を提供することが判明し、この文脈では新規な結果である。
• 学習順序付け問題における数値実験により、仮想出力間の低ランク関係を強制することで、すべての競合手法を上回る顕著な性能向上が確認された。
• 符号化関数の暗黙的取り扱いが変分的定式化により可能であるため、任意の次元（無限次元を含む）の補助空間に本手法を適用可能である。
• トレースノルム正則化のIvanov形式とTikhonov形式の等価性が証明され、安定かつ効率的な最適化を可能にした。