[論文レビュー] Structured Prediction with Projection Oracles

Mathieu Blondel|arXiv (Cornell University)|Oct 24, 2019

Machine Learning and Data Classification被引用数 9

ひとこと要約

本論文は、凸集合への射影オракルを用いて凸的で滑らかな損失関数を導出する一般化された構造予測フレームワークを提案する。予測出力を凸包（例：マージナルポリトープ）に射影することで、標準損失関数よりも精度が向上し、ラベル順序付け、順序回帰、マルチラベル分類の各タスクで一貫した性能向上が得られる。特に、バーキホフ多面体や順序単体といった構造的ポリトープへの効率的な射影を用いることで、その恩恵が顕著である。

ABSTRACT

We propose in this paper a general framework for deriving loss functions for structured prediction. In our framework, the user chooses a convex set including the output space and provides an oracle for projecting onto that set. Given that oracle, our framework automatically generates a corresponding convex and smooth loss function. As we show, adding a projection as output layer provably makes the loss smaller. We identify the marginal polytope, the output space's convex hull, as the best convex set on which to project. However, because the projection onto the marginal polytope can sometimes be expensive to compute, we allow to use any convex superset instead, with potentially cheaper-to-compute projection. Since efficient projection algorithms are available for numerous convex sets, this allows us to construct loss functions for a variety of tasks. On the theoretical side, when combined with calibrated decoding, we prove that our loss functions can be used as a consistent surrogate for a (potentially non-convex) target loss function of interest. We demonstrate our losses on label ranking, ordinal regression and multilabel classification, confirming the improved accuracy enabled by projections.

研究の動機と目的

• 構造予測における凸的で滑らかな補助損失関数を導出する一般化された、計算的に実行可能なフレームワークの開発。
• 射影に基づく損失関数とキャリブレーション済みデコーディングを組み合わせることで、最適なターゲット損失関数への収束を保証する一貫性のある学習の実現。
• MAP やマージナル推論オラクルではなく、効率的な射影オラクルを活用することで、既存の補助損失関数の柔軟な代替案の提供。
• マージナルポリトープまたはその効率的な上位集合への射影が、多様な構造予測タスクにおいて予測精度の向上をもたらすことを実証すること。

提案手法

• 出力空間を含む凸集合に基づいてFenchel-Young損失を導出し、損失はその集合への射影によって定義される。
• ユーザーは凸集合（例：バーキホフ多面体、順序単体、ナップサック多面体）を選択し、その集合への射影オラクルを提供する。
• 損失は、選択された集合への射影演算子と凸共役関数に関連するFenchel-Young損失として構築される。
• 出力空間の凸包であるマージナルポリトープが、ターゲット損失関数との一貫性を保証する最適な凸集合であると特定される。
• マージナルポリトープへの射影が非効率な場合、[0,1]^k や単体などのより安価な射影アルゴリズムを備えた任意の凸上位集合を用いることが可能である。
• テスト時におけるキャリブレーション済みデコーディングを適用し、連続的な予測出力を有効な離散出力に再マップすることで、ターゲット損失関数との一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 射影オラクルのみを用いて、構造予測における凸的で滑らかな補助損失関数を導出する一般化されたフレームワークを設計可能か？
• RQ2 マージナルポリトープまたはその上位集合への予測射影が、標準損失関数と比較して一般化性能や精度を向上させるか？
• RQ3 バーキホフ多面体、順序単体、ナップサック多面体などの凸集合の選択が、構造予測タスクのパフォーマンスに与える影響は何か？
• RQ4 ターゲット損失関数が非凸であっても、キャリブレーション済みデコーディングと組み合わせた場合、提案された損失関数がターゲット損失関数と一貫性を保つか？

主な発見

• ラベル順序付けタスクにおいて、バーキホフ多面体を射影およびデコーディングに用いることで、Wineデータセットで5.10という最小のハミング損失を達成し、他のすべての設定を上回った。
• 順序回帰タスクでは、順序単体へのユークリッド射影により平均絶対誤差（MAE）が0.43に低下し、リッジ回帰（MAE 0.72）や他のベースラインを上回った。
• マルチラベル分類では、ナップサック多面体が、1サンプルあたりのラベル数が少ないデータセット（例：'birds'、'emotions'、'scene'）で、ユニットキューブベースラインを上回るF1スコアを達成した。
• KL射影とユークリッド射影は類似した性能を示したため、損失関数の選択よりも凸集合の選択が、性能により大きな影響を与えることが示唆された。
• バーキホフ多面体への射影によるソフト置換行列の可視化により、解釈性が向上した。一方、[0,1]^{k×k} などの上位集合を用いる場合、この利点は失われる。
• 弱い仮定の下で、キャリブレーション済みデコーディングと組み合わせた場合、非凸なターゲット損失関数に対しても、提案された損失関数がターゲット損失関数と一貫性を保つことが保証された。